Confirmation Lock w agentach LLM: eksperymentalny stend ujawnia stronniczość
Osobiste agenty LLM w cyklu prompt-narzędzie-analiza-odpowiedź wykazują systematyczną stronniczość, podobną do błędu potwierdzenia w psychologii. Model generuje hipotezę, formułuje zapytania do narzędzi pod nią, interpretuje odpowiedzi i potwierdza wnioski, ignorując sprzeczności. To Confirmation Lock: generator i krytyk łączą się w jednym kontekście, blokując obiektywność.
Eksperymentalny stend LOCK-R matematycznie rejestruje odchylenie od bayesowskiego ideału. Agentom przydzielany jest budżet na 4 wywołania narzędzi, fałszywa kotwica i wymóg wyprowadzania JSON z prawdopodobieństwami hipotez (H1, H2, H3). Bayesowski oracle przelicza prawdziwe prawdopodobieństwa na podstawie likelihood dowodów. Metryka — Bayes Regret (R_mean): różnica dystrybucji.
Algorytmiczny bot w Python osiąga zerowy regret, potwierdzając poprawność środowiska.
Stend LOCK-R: zasady i metryki
Środowisko jest deterministyczne:
- Trzy wzajemnie wykluczające się hipotezy.
- Budżet: 4 wywołania (wyszukiwanie, weryfikacja).
- Fałszywa kotwica na H1.
- Po każdym kroku — JSON z % pewności.
Kluczowe metryki:
- Wskaźnik powtarzalności pętli narzędzi: powtarzalność zapytań (do 68% u zablokowanych agentów).
- K_c (współczynnik asymetrii): reakcja na potwierdzenia vs obalenia. Ideał — 0, LLM wykazują silny minus (upór).
Testy na Qwen3.5-9B i GPT-5.4 ujawniły zapadnięcie zapytań: agent używa 1 narzędzia w kółko, potwierdzając bias.
Wymuszony oracle_query_control (prawidłowe źródła) podnosi dokładność z 25% do 85%.
Wgląd: asymetria w przetwarzaniu dowodów
Agenty LLM reagują asymetrycznie. Obalenie zmniejsza pewność o 5–10%, potwierdzenie podnosi do 90%. K_c schodzi w minus: negacja krytyki, hiperbolizacja wsparcia.
To nie deficyt kontekstu, ale strukturalna wada osobistych agentów.
Paradoks Chain-of-Thought
Porównanie trybów Thinking (CoT) i Non-Thinking:
- Badanie (wyszukiwanie/planowanie): CoT jest obowiązkowy, regret bez niego — 2.26.
- Weryfikacja (ważenie faktów): CoT pogarsza, regret rośnie. Model wydaje tokeny na adwokackie argumenty, racjonalizując sprzeczności.
CoT wzmacnia iluzje zamiast obiektywności.
Rozwiązanie: niewidomy sędzia
Asymetryczny pipeline: Thinking Explorer (wyszukiwanie) + Non-Thinking Judge (weryfikacja).
Niewidomy sędzia otrzymuje tylko surowe fakty (hipotezy + logi narzędzi), bez brudnopisów. Regret spada z 1.47 do 0.09.
Realny scenariusz CodeTriageEnv:
- Błąd 500 na stronie płatności.
- Fałszywa kotwica: skok CPU w Redis.
- Prawdziwa przyczyna: JSONDecodeError od bramki płatniczej.
| Tryb | Dokładność | Unik. narzędzi | Regret |
|-------|----------|---------------------|--------|
| Single-agent | 40% | 2.8 | 0.25 |
| Blind checker | 100% | 2.0 | 0.07 |
Osobisty agent krząta się wokół Redis, ignorując stacktrace. Niewidomy skupia się na JSON.
Frontier-modele i skalowanie
GPT-5.4 wykazuje mniejszy bazowy regret (0.03), ale CoT podwaja go do 0.06. Architektoniczny defekt utrzymuje się: skala poprawia zgadywanie, nie sądownictwo.
Co jest ważne
- Osobiste agenty są podatne na Confirmation Lock z powodu połączenia ról.
- CoT jest użyteczny do generacji, szkodliwy dla weryfikacji.
- Podział na Explorer + Blind Judge minimalizuje regret do 0.09.
- Nawet modele SOTA wymagają asymetrycznych pipeline'ów.
- Metryka K_c ilościowo rejestruje upór LLM.
— Editorial Team
Brak komentarzy.