# Bloqueo de Confirmación en Agentes LLM: Benchmark Revela Sesgo Cognitivo
Los agentes LLM individuales en un bucle de prompt-herramienta-análisis-respuesta muestran un sesgo sistemático, similar al sesgo de confirmación en psicología. El modelo genera una hipótesis, diseña consultas de herramientas para ajustarla, interpreta los resultados y confirma sus conclusiones ignorando contradicciones. Esto es el Bloqueo de Confirmación: el generador y el crítico se fusionan en un solo contexto, bloqueando la objetividad.
El benchmark experimental LOCK-R captura matemáticamente la desviación de los ideales bayesianos. Los agentes reciben un presupuesto de 4 llamadas a herramientas, un ancla inicial falsa y deben generar JSON con probabilidades de hipótesis (H1, H2, H3). Un oráculo bayesiano recalcula las probabilidades verdaderas según las verosimilitudes de la evidencia. La métrica clave es el Bayes Regret (R_mean): la diferencia en distribuciones de probabilidades.
Un bot algorítmico en Python logra regret cero, validando la configuración.
Benchmark LOCK-R: Reglas y Métricas
El entorno es completamente determinista:
- Tres hipótesis mutuamente excluyentes.
- Presupuesto: 4 llamadas (búsqueda, verificación).
- Ancla falsa en H1.
- JSON con % de confianza tras cada paso.
Métricas clave:
- Tool_loop_repetition_rate: Repetición de consultas (hasta 68% en agentes bloqueados).
- K_c (coeficiente de asimetría): Respuesta a confirmaciones vs. refutaciones. Ideal es 0; los LLM muestran negativos fuertes (terquedad).
Pruebas en Qwen3.5-9B y GPT-5.4 revelaron colapso de consultas: los agentes se enredan en una herramienta, reforzando el sesgo.
El control forzado oracle_query_control (fuentes correctas) eleva la precisión del 25% al 85%.
Idea Clave: Procesamiento Asimétrico de Evidencia
Los agentes LLM reaccionan de forma asimétrica. Las refutaciones bajan la confianza un 5–10%, mientras las confirmaciones la disparan al 90%. K_c se vuelve negativo: descartan críticas, exageran apoyos.
No es falta de contexto: es un defecto estructural en agentes únicos.
La Paradoja del Chain-of-Thought
Comparando modos Pensante (CoT) y No Pensante:
- Exploración (búsqueda/planificación): CoT es esencial; sin él, el regret llega a 2.26.
- Verificación (evaluación de hechos): CoT lo empeora, aumentando el regret. El modelo gasta tokens en argumentos de abogado, racionalizando contradicciones.
CoT amplifica ilusiones sobre objetividad.
Solución: Juez Ciego
Pipeline asimétrico: Explorador Pensante (búsqueda) + Juez No Pensante (verificación).
El juez ciego recibe solo hechos crudos (hipótesis + logs de herramientas), sin borradores. El regret cae de 1.47 a 0.09.
Escenario Real CodeTriageEnv:
- Error 500 en página de pagos.
- Ancla falsa: pico de CPU en Redis.
- Causa real: JSONDecodeError del gateway de pagos.
| Modo | Precisión | Herramientas Únicas | Regret |
|-------------------|-----------|---------------------|--------|
| Agente único | 40% | 2.8 | 0.25 |
| Verificador ciego | 100% | 2.0 | 0.07 |
Los agentes únicos persiguen sombras de Redis, ignorando trazas de pila. El juez ciego va directo al JSON.
Modelos Frontier y Escalado
GPT-5.4 tiene menor regret base (0.03), pero CoT lo duplica a 0.06. El defecto arquitectónico persiste: escalar mejora conjeturas, no juicios.
Lecciones Clave
- Los agentes únicos son vulnerables al Bloqueo de Confirmación por fusión de roles.
- CoT ayuda en generación pero daña la verificación.
- Dividir en Explorador + Juez Ciego reduce regret a 0.09.
- Incluso los mejores modelos necesitan pipelines asimétricos.
- La métrica K_c cuantifica la terquedad de los LLM.
— Editorial Team
Aún no hay comentarios.