LLM 代理中的确认锁：LOCK-R 测试

LLM 代理中的确认锁定：基准测试揭示认知偏差

单一 LLM 代理在提示-工具-分析-响应的循环中表现出系统性偏差，类似于心理学中的确认偏差。模型生成假设，构建工具查询以匹配它，解释结果，并确认其结论，同时忽略矛盾。这就是确认锁定：生成者和批判者在同一上下文中融合，阻碍客观性。

实验性 LOCK-R 基准 通过数学方式捕捉偏离贝叶斯理想的偏差。代理获得 4 次工具调用预算、一个错误的初始锚点，并必须输出包含假设概率（H1、H2、H3）的 JSON。贝叶斯预言机基于证据似然重新计算真实概率。关键指标是贝叶斯遗憾（R_mean）：概率分布的差异。

一个 Python 算法机器人实现零遗憾，验证了设置的有效性。

LOCK-R 基准：规则与指标

环境完全确定性：

• 三个互斥假设。
• 预算：4 次调用（搜索、验证）。
• H1 的错误锚点。
• 每步后输出置信度 % 的 JSON。

关键指标：

• Tool_loop_repetition_rate：查询重复率（锁定代理高达 68%）。
• K_c（不对称系数）：对确认 vs. 反驳的响应。理想值为 0；LLM 显示强烈负值（顽固性）。

对 Qwen3.5-9B 和 GPT-5.4 的测试揭示查询崩溃：代理在单一工具上循环，强化偏差。

强制 oracle_query_control（正确来源）将准确率从 25% 提升至 85%。

关键洞见：证据处理不对称

LLM 代理反应不对称。反驳仅降低置信度 5–10%，而确认则将其飙升至 90%。K_c 转为负值：忽略批评，夸大支持。

这不是上下文不足——而是单一代理的结构缺陷。

思维链悖论

比较思维（CoT）和非思维模式：

• 探索（搜索/规划）：CoT 不可或缺；无 CoT 时遗憾达 2.26。
• 验证（权衡事实）：CoT 恶化情况，增加遗憾。模型消耗 token 于律师式辩护，合理化矛盾。

CoT 放大幻觉而非客观性。

解决方案：盲审法官

不对称管道：思维探索者（搜索） + 非思维盲审法官（验证）。

盲审法官仅获原始事实（假设 + 工具日志），无草稿。遗憾从 1.47 降至 0.09。

真实场景 CodeTriageEnv：

• 支付页面 500 错误。
• 错误锚点：Redis CPU 峰值。
• 真实原因：支付网关的 JSONDecodeError。

| 模式 | 准确率 | 唯一工具 | 遗憾 |

|-----------------|--------|----------|--------|

| 单一代理 | 40% | 2.8 | 0.25 |

| 盲审检查 | 100% | 2.0 | 0.07 |

单一代理追逐 Redis 幻影，忽略堆栈追踪。盲审法官直击 JSON 问题。

前沿模型与扩展

GPT-5.4 基线遗憾较低（0.03），但 CoT 将其加倍至 0.06。架构缺陷持续：扩展提升猜测，而非判断。

关键要点

• 单一代理因角色融合易受确认锁定影响。
• CoT 助生成但害验证。
• 分离为探索者 + 盲审法官将遗憾降至 0.09。
• 即使顶级模型也需不对称管道。
• K_c 指标量化 LLM 顽固性。

— Editorial Team