Confirmation Lock bei LLM-Agenten: Benchmark deckt kognitiven Bias auf
Einzelne LLM-Agenten in einer Schleife aus Prompt-Tool-Analyse-Antwort zeigen systematischen Bias, ähnlich dem Bestätigungsfehler in der Psychologie. Das Modell erzeugt eine Hypothese, passt Tool-Abfragen daran an, interpretiert Ergebnisse und bestätigt seine Schlüsse, während es Widersprüche ignoriert. Das ist Confirmation Lock: Generator und Kritiker verschmelzen in einem Kontext und blockieren Objektivität.
Der experimentelle LOCK-R-Benchmark erfasst mathematisch die Abweichung von bayesschen Idealen. Agenten erhalten ein Budget von 4 Tool-Aufrufen, einen falschen initialen Anker und müssen JSON mit Hypothesenwahrscheinlichkeiten (H1, H2, H3) ausgeben. Ein bayesscher Orakelrechner berechnet wahre Wahrscheinlichkeiten basierend auf Evidenz-Wahrscheinlichkeiten. Die Schlüsselmessgröße ist Bayes-Regret (R_mean): die Differenz in Wahrscheinlichkeitsverteilungen.
Ein algorithmischer Python-Bot erreicht null Regret und validiert den Aufbau.
LOCK-R-Benchmark: Regeln und Metriken
Die Umgebung ist vollständig deterministisch:
- Drei gegenseitig ausschließliche Hypothesen.
- Budget: 4 Aufrufe (Suche, Verifikation).
- Falscher Anker bei H1.
- JSON mit Konfidenz-% nach jedem Schritt.
Schlüsselmetriken:
- Tool_loop_repetition_rate: Abfragewiederholung (bis zu 68 % bei locked Agenten).
- K_c (Asymmetrie-Koeffizient): Reaktion auf Bestätigungen vs. Widerlegungen. Ideal ist 0; LLMs zeigen starke Negative (Eigensinn).
Tests mit Qwen3.5-9B und GPT-5.4 zeigten Query-Collapse: Agenten loopen auf einem Tool und verstärken den Bias.
Erzwungene oracle_query_control (korrekte Quellen) steigert Genauigkeit von 25 % auf 85 %.
Schlüssel-Einsicht: Asymmetrische Evidenzverarbeitung
LLM-Agenten reagieren asymmetrisch. Widerlegungen senken das Vertrauen um 5–10 %, Bestätigungen katapultieren es auf 90 %. K_c wird negativ: Kritik abtun, Unterstützung aufbauschen.
Das ist kein Kontextmangel – es ist ein struktureller Fehler bei Einzelagenten.
Das Chain-of-Thought-Paradoxon
Vergleich von Denk- (CoT) und Nicht-Denk-Modi:
- Exploration (Suche/Planung): CoT ist essenziell; Regret ohne CoT bei 2,26.
- Verifikation (Faktenabwägen): CoT verschlechtert es und erhöht Regret. Das Modell verbraucht Tokens für anwaltliche Argumente und rationalisiert Widersprüche.
CoT verstärkt Illusionen statt Objektivität.
Lösung: Blinder Richter
Asymmetrische Pipeline: Denkender Explorer (Suche) + Nicht-denkender Richter (Verifikation).
Der blinde Richter erhält nur Rohdaten (Hypothesen + Tool-Logs), keine Entwürfe. Regret sinkt von 1,47 auf 0,09.
Realwelt-Szenario CodeTriageEnv:
- 500-Fehler auf Zahlungsseite.
- Falscher Anker: Redis-CPU-Spike.
- Wahre Ursache: JSONDecodeError vom Zahlungs-Gateway.
| Modus | Genauigkeit | Einzigartige Tools | Regret |
|------------------|-------------|--------------------|--------|
| Einzelagent | 40 % | 2,8 | 0,25 |
| Blinder Checker | 100 % | 2,0 | 0,07 |
Einzelagenten jagen Redis-Schatten und ignorieren Stack-Traces. Der blinde Richter zoomt auf JSON.
Frontier-Modelle und Skalierung
GPT-5.4 hat niedrigeren Basis-Regret (0,03), aber CoT verdoppelt ihn auf 0,06. Der architektonische Fehler bleibt: Skalierung verbessert Raten, nicht Urteilen.
Wichtige Erkenntnisse
- Einzelagenten sind anfällig für Confirmation Lock durch Rollenschmelze.
- CoT hilft bei Generierung, schadet bei Verifikation.
- Aufteilung in Explorer + Blinden Richter senkt Regret auf 0,09.
- Sogar Top-Modelle brauchen asymmetrische Pipelines.
- K_c-Metriken quantifiziert LLM-Eigensinn.
— Editorial Team
Noch keine Kommentare.