# Verrou de Confirmation chez les Agents LLM : Benchmark révèle un biais cognitif
Les agents LLM isolés dans une boucle invite-outil-analyse-réponse présentent un biais systématique, semblable au biais de confirmation en psychologie. Le modèle génère une hypothèse, formule des requêtes d'outils pour l'ajuster, interprète les résultats et confirme ses conclusions en ignorant les contradictions. C'est le Verrou de Confirmation : le générateur et le critique fusionnent dans un même contexte, bloquant l'objectivité.
Le benchmark expérimental LOCK-R capture mathématiquement l'écart par rapport aux idéaux bayésiens. Les agents disposent d'un budget de 4 appels d'outils, d'un ancrage initial faux, et doivent produire un JSON avec les probabilités des hypothèses (H1, H2, H3). Un oracle bayésien recalcule les vraies probabilités en fonction des vraisemblances des preuves. La métrique clé est le Regret de Bayes (R_mean) : la différence dans les distributions de probabilités.
Un bot algorithmique Python atteint un regret nul, validant la configuration.
Benchmark LOCK-R : Règles et Métriques
L'environnement est totalement déterministe :
- Trois hypothèses mutuellement exclusives.
- Budget : 4 appels (recherche, vérification).
- Ancrage faux sur H1.
- JSON avec pourcentages de confiance après chaque étape.
Métriques clés :
- Tool_loop_repetition_rate : Répétition des requêtes (jusqu'à 68 % chez les agents verrouillés).
- K_c (coefficient d'asymétrie) : Réaction aux confirmations vs réfutations. Idéal = 0 ; les LLM montrent des valeurs fortement négatives (entêtement).
Des tests sur Qwen3.5-9B et GPT-5.4 ont révélé un effondrement des requêtes : les agents bouclent sur un seul outil, renforçant le biais.
Un contrôle forcé des requêtes oracle (sources correctes) booste la précision de 25 % à 85 %.
Enseignement clé : Traitement asymétrique des preuves
Les agents LLM réagissent de manière asymétrique. Les réfutations font baisser la confiance de 5–10 %, tandis que les confirmations la font bondir à 90 %. K_c devient négatif : rejet de la critique, exaltation du soutien.
Ce n'est pas un manque de contexte — c'est un défaut structurel des agents uniques.
Le paradoxe de la Chaîne de Pensée
Comparaison des modes Pensée (CoT) et Non-Pensée :
- Exploration (recherche/planification) : CoT est essentiel ; regret sans elle atteint 2,26.
- Vérification (pesée des faits) : CoT empire les choses, augmentant le regret. Le modèle gaspille des tokens en arguments d'avocat, rationalisant les contradictions.
CoT amplifie les illusions au détriment de l'objectivité.
Solution : Juge Aveugle
Pipeline asymétrique : Explorateur Pensant (recherche) + Juge Non-Pensant (vérification).
Le juge aveugle reçoit uniquement les faits bruts (hypothèses + logs d'outils), sans brouillons. Le regret chute de 1,47 à 0,09.
Scénario réel CodeTriageEnv :
- Erreur 500 sur page de paiement.
- Ancrage faux : Pic CPU Redis.
- Cause vraie : JSONDecodeError du gateway de paiement.
| Mode | Précision | Outils uniques | Regret |
|-------------------|-----------|----------------|--------|
| Agent unique | 40 % | 2,8 | 0,25 |
| Vérificateur aveugle | 100 % | 2,0 | 0,07 |
Les agents uniques courent après des ombres Redis, ignorant les traces d'empilement. Le juge aveugle cible directement le JSON.
Modèles de pointe et mise à l'échelle
GPT-5.4 affiche un regret de base plus faible (0,03), mais CoT le double à 0,06. Le défaut architectural persiste : l'échelle booste les suppositions, pas le jugement.
Enseignements clés
- Les agents uniques sont vulnérables au Verrou de Confirmation en raison de la fusion des rôles.
- CoT aide la génération mais nuit à la vérification.
- Séparer en Explorateur + Juge Aveugle réduit le regret à 0,09.
- Même les meilleurs modèles nécessitent des pipelines asymétriques.
- La métrique K_c quantifie l'entêtement des LLM.
— Editorial Team
Aucun commentaire pour le moment.