LLM-Halluzinationen: Artefakte der Datenkompression

LLM-Halluzinationen als Artefakte verlustbehafteter Kompression: Eine informationstheoretische Perspektive

LLMs fungieren als verlustbehaftete Datenkompressoren: Die Vorhersage des nächsten Tokens entspricht der Komprimierung eines riesigen Textkorpus in Modellparameter. Gemäß Shannons Theorem bestimmt die Vorhersagequalität direkt das Kompressionsverhältnis. Halluzinationen treten während der Dekompression auf, wenn das Modell verlorene Informationen mit plausiblen, aber ungenauen Fragmenten rekonstruiert.

Die mathematische Grundlage von Vorhersage und Kompression

Grundlegend implementieren LLMs die Vorhersage der Verteilung des nächsten Tokens basierend auf Kontext. Dies ist mathematisch identisch mit arithmetischer Codierung, bei der ein probabilistischer Prädiktor die Bits pro Quellenentropie minimiert.

def predict_next_token(context: str) -> Distribution:
    """Token-Vorhersage = Dekompression der komprimierten Darstellung"""
    pass

Modellgewichte speichern komprimiertes Wissen aus dem Trainingsdatensatz. Eine Erhöhung der Modellgröße erhöht die Bitrate, reduziert Verluste, beseitigt sie aber nicht vollständig.

Vergleich mit JPEG:

| JPEG | LLM |

|------|-----|

| Große Blöcke | Allgemeine Muster |

| Feine Details | Seltene Fakten |

| Kantenartefakte | Halluzinationen |

| Qualität 1–100% | Parameter 7B–405B |

Warum LLMs bei Code glänzen, aber bei Mathematik kämpfen

Code lässt sich aufgrund strenger Syntax und repetitiver Strukturen effizient komprimieren. Muster wie for i in range(n) werden nahezu verlustfrei erhalten, ähnlich wie große einheitliche Bereiche in einem Bild.

Mathematik leidet unter dem Verlust präziser Zahlen – feine Details ohne Muster. Beispiel:

> 17 × 38?
GPT: 646  # korrekt

> 1847 × 9283?
GPT: 17.143.301  # Fehler, korrekt: 17.143.501

Seltene Kombinationen verursachen Artefakte, analog zum Verwischen von Zahlen in JPEG.

• Code: Hohe Komprimierbarkeit aufgrund begrenzten Vokabulars und Strukturen.
• Mathematik: Erfordert exakte Speicherung oder Berechnung, in einem verlustbehafteten Ansatz nicht verfügbar.
• Fakten: Seltene Ereignisse gehen zuerst verloren.

Temperatur als Artefaktregler

Der Temperaturparameter steuert die Abtastung aus der Verteilung:

# temperature=0.0: argmax, scharfe Artefakte
# temperature=0.7: ausgewogene Wahrscheinlichkeiten
# temperature=1.5: Rauschen, 'Kreativität'
# temperature→∞: Zufälligkeit

Niedrige Temperatur erhöht die Determiniertheit, fixiert aber Artefakte. Hohe Temperatur fügt Variabilität hinzu und verwischt die Verluste.

Techniken zur Minimierung von Artefakten in Kompressionstermen

LLM-Techniken werden durch eine Kompressionslinse neu interpretiert:

• RAG: Einfügen verlustfreier Daten in den Kontext, Umgehung komprimierter Darstellungen.
• Fine-tuning: Neuverschlüsselung mit Prioritäten auf Zielbereichen.
• Prompt Engineering: Lenkung des Decoders zu relevanten Blöcken im latenten Raum.
• RLHF: Optimierung für subjektive Qualität, wie psychoakustische Modelle in Audio.
• System Prompt: Konfiguration des Decoder-Profils.

| Technik | Kompressionsanalogie |

|-----------|---------------------|

| RAG | Verlustfreie Einfügung |

| Fine-tuning | Neues Codec-Profil |

| Prompt | Suchen in komprimierter Datei |

Die Unmöglichkeit, Halluzinationen vollständig zu eliminieren

Artefakte sind unvermeidlich, wenn unterhalb der Datenentropie komprimiert wird. Eine Erhöhung der Modellgröße (Bitrate) oder die Verwendung externen Speichers reduziert Verluste, aber das Einpassen von 10 TB in 70 GB wird immer Lücken hinterlassen. Versprechen einer 'vollständigen Lösung' ignorieren die Informationstheorie.

Das menschliche Gedächtnis ist analog: Konfabulation füllt Verluste mit plausiblen Details aufgrund von Speicherbeschränkungen.

Wichtige Erkenntnisse

• Halluzinationen sind keine Fehler, sondern Artefakte verlustbehafteter Dekompression gemäß Shannon.
• Erhöhte Parameter reduzieren, beseitigen aber nicht Verluste.
• RAG und Fine-tuning sind Werkzeuge zur lokalen Artefaktkompensation.
• Code und Muster werden besser erhalten als exakte Fakten.
• Temperatur reguliert die Sichtbarkeit von Artefakten, nicht ihre Präsenz.

LLMs als künstliches Gedächtnis: effizient für allgemeine Muster, undicht für Details. Engineering mit der Kompressionsnatur im Blick ist der Schlüssel zu zuverlässigen Anwendungen.

— Editorial Team