LLM-agents의 확인 잠금: LOCK-R 테스트

LLM 에이전트의 확인 편향 잠금: 벤치마크가 드러낸 인지 편향

프롬프트-도구-분석-응답 루프에서 작동하는 단일 LLM 에이전트는 심리학의 확인 편향처럼 체계적인 편향을 보입니다. 모델은 가설을 생성한 후 이를 뒷받침하는 도구 쿼리를 만들고, 결과를 해석하며 모순을 무시하면서 결론을 확인합니다. 이것이 바로 확인 잠금(Confirmation Lock)입니다. 생성자와 비평가가 하나의 컨텍스트에서 합쳐져 객관성을 막아버립니다.

LOCK-R 벤치마크 실험은 베이지안 이상에서 벗어난 편차를 수학적으로 포착합니다. 에이전트는 4회 도구 호출 예산, 잘못된 초기 앵커를 받고 H1, H2, H3 가설 확률을 JSON으로 출력해야 합니다. 베이지안 오라클이 증거 가능도에 기반해 진짜 확률을 재계산합니다. 핵심 지표는 베이즈 후회(R_mean): 확률 분포 차이입니다.

Python 알고리즘 봇은 후회를 0으로 달성하며 설정을 검증합니다.

LOCK-R 벤치마크: 규칙과 지표

환경은 완전 결정론적입니다:

• 상호 배타적인 세 가지 가설.
• 예산: 4회 호출(검색, 검증).
• H1에 대한 잘못된 앵커.
• 각 단계 후 신뢰 %를 포함한 JSON.

주요 지표:

• Tool_loop_repetition_rate: 쿼리 반복(잠긴 에이전트에서 최대 68%).
• K_c (비대칭 계수): 확인 vs. 반박 반응. 이상은 0; LLM은 강한 음수(고집).

Qwen3.5-9B와 GPT-5.4 테스트에서 쿼리 붕괴 현상: 에이전트가 하나의 도구에 갇혀 편향 강화.

강제 오라클 쿼리 제어(올바른 소스)로 정확도 25%에서 85%로 상승.

핵심 통찰: 비대칭 증거 처리

LLM 에이전트는 비대칭적으로 반응합니다. 반박은 신뢰를 5–10% 떨어뜨리지만, 확인은 90%까지 치솟습니다. K_c가 음수: 비판 무시, 지지 과대평가.

이건 컨텍스트 부족이 아닙니다—단일 에이전트의 구조적 결함입니다.

사고 사슬의 역설

사고(Chain-of-Thought, CoT)와 비사고 모드 비교:

• 탐색(검색/계획): CoT 필수; 없으면 후회 2.26.
• 검증(사실 무게 재기): CoT가 악화시켜 후회 증가. 모델이 변호사 같은 논리로 토큰 소모, 모순 합리화.

CoT는 객관성보다 환상을 증폭합니다.

해결책: 맹목 심판자

비대칭 파이프라인: 사고 탐색자(검색) + 비사고 심판자(검증).

맹목 심판자는 가설 + 도구 로그만 받음, 초안 없음. 후회 1.47에서 0.09로 급감.

실제 CodeTriageEnv 시나리오:

• 결제 페이지 500 오류.
• 잘못된 앵커: Redis CPU 스파이크.
• 진짜 원인: 결제 게이트웨이 JSONDecodeError.

| Mode | Accuracy | Unique Tools | Regret |

|-----------------|----------|--------------|--------|

| Single-agent | 40% | 2.8 | 0.25 |

| Blind checker | 100% | 2.0 | 0.07 |

단일 에이전트는 Redis 그림자 쫓으며 스택 트레이스 무시. 맹목 심판자는 JSON에 집중.

최전선 모델과 스케일링

GPT-5.4는 기본 후회 낮음(0.03), 하지만 CoT로 0.06 두 배. 구조적 결함 지속: 스케일링은 추측 강화, 판단 아님.

주요 교훈

• 단일 에이전트는 역할 융합으로 확인 잠금 취약.
• CoT는 생성 도움, 검증 해침.
• 탐색자 + 맹목 심판자로 후회 0.09로 줄임.
• 최상위 모델도 비대칭 파이프라인 필요.
• K_c 지표로 LLM 고집 정량화.

— Editorial Team