Halucynacje LLM: artefakty kompresji danych

Halucynacje w LLM jako artefakty kompresji stratnej: teoria informacji

LLM działają jako kompresory danych stratne: przewidywanie następnego tokena jest równoważne kompresji ogromnego korpusu tekstu do parametrów modelu. Zgodnie z twierdzeniem Shannona, jakość przewidywań bezpośrednio określa stopień kompresji. Halucynacje pojawiają się podczas dekompresji, gdy model odtwarza utracone informacje za pomocą wiarygodnych, ale niedokładnych fragmentów.

Matematyczne podstawy przewidywania i kompresji

Na poziomie fundamentalnym LLM realizują przewidywanie rozkładu następnego tokena na podstawie kontekstu. Jest to matematycznie identyczne z kodowaniem arytmetycznym, gdzie predyktor probabilistyczny minimalizuje liczbę bitów na entropię źródła.

def predict_next_token(context: str) -> Distribution:
    """Przewidywanie tokena = dekompresja skompresowanej reprezentacji"""
    pass

Wagi modelu przechowują skompresowaną wiedzę z próbki uczącej. Zwiększenie rozmiaru modelu podnosi przepływność bitową, zmniejszając straty, ale nie eliminując ich całkowicie.

Porównanie z JPEG:

| JPEG | LLM |

|------|-----|

| Duże bloki | Ogólne wzorce |

| Drobne szczegóły | Rzadkie fakty |

| Artefakty na granicach | Halucynacje |

| Jakość 1–100% | Parametry 7B–405B |

Dlaczego LLM świetnie radzą sobie z kodem, ale słabo z matematyką

Kod jest kompresowany efektywnie dzięki ścisłej składni i powtarzającym się strukturom. Wzorce takie jak pętle for i in range(n) są zachowywane prawie bez strat, jak duże obszary na obrazie.

Matematyka cierpi z powodu utraty dokładnych liczb – drobnych szczegółów bez wzorców. Przykład:

> 17 × 38?
GPT: 646  # poprawnie

> 1847 × 9283?
GPT: 17,143,301  # błąd, poprawny: 17,143,501

Rzadkie kombinacje wywołują artefakty, analogicznie do rozmycia numerów w JPEG.

• Kod: Wysoka kompresowalność dzięki ograniczonemu słownikowi i strukturom.
• Matematyka: Wymaga dokładnego przechowywania lub obliczeń, niedostępnych w podejściu stratnym.
• Fakty: Rzadkie zdarzenia są tracone jako pierwsze.

Temperature jako regulator artefaktów

Parametr temperature steruje próbkowaniem z rozkładu:

# temperature=0.0: argmax, ostre artefakty
# temperature=0.7: równowaga prawdopodobieństw
# temperature=1.5: szum, 'kreatywność'
# temperature→∞: losowość

Niska temperatura wzmacnia determinizm, ale utrwala artefakty. Wysoka dodaje zmienność, rozmywając straty.

Techniki minimalizacji artefaktów w ujęciu kompresji

Metody pracy z LLM są reinterpretowane przez pryzmat kompresji:

• RAG: Wstawianie danych bezstratnych do kontekstu, omijając skompresowane reprezentacje.
• Fine-tuning: Przekodowanie z priorytetami na docelowe domeny.
• Inżynieria promptów: Kierowanie dekodera do odpowiednich bloków przestrzeni latentnej.
• RLHF: Optymalizacja pod subiektywną jakość, jak modele psychoakustyczne w audio.
• System prompt: Konfiguracja profilu dekodera.

| Technika | Analog w kompresji |

|---------|---------------------|

| RAG | Wstawianie bezstratne |

| Fine-tuning | Nowy profil kodeka |

| Prompt | Seek w skompresowanym pliku |

Niemożność całkowitej eliminacji halucynacji

Artefakty są nieuniknione przy kompresji poniżej entropii danych. Zwiększenie modelu (przepływność bitowa) lub pamięć zewnętrzna zmniejszają straty, ale 10 TB w 70 GB zawsze pozostawi luki. Obietnice 'pełnego rozwiązania' ignorują teorię informacji.

Pamięć ludzka jest analogiczna: konfabulacja wypełnia straty wiarygodnymi szczegółami z powodu ograniczeń przechowywania.

Co jest ważne

• Halucynacje to nie błędy, a artefakty dekompresji stratnej według Shannona.
• Zwiększenie parametrów zmniejsza, ale nie eliminuje strat.
• RAG i fine-tuning to narzędzia lokalnej kompensacji artefaktów.
• Kod i wzorce są zachowywane lepiej niż dokładne fakty.
• Temperature reguluje widoczność artefaktów, nie ich obecność.

LLM jako sztuczna pamięć: efektywna dla ogólnych wzorców, pełna luk dla szczegółów. Inżynieria z uwzględnieniem natury kompresji – klucz do niezawodnych aplikacji.

— Editorial Team