LLM-graphs의 물리학: F와 rho 메트릭

LLM 에이전트 조율의 물리학: 다중 에이전트 그래프에서의 성능 저하 지표

LLM 기반 다중 에이전트 시스템은 종종 불안정성을 보입니다: 에이전트를 추가하면 컨텍스트 손실과 환각 현상이 발생합니다. LLM coordination harness 벤치마크를 사용한 연구는 핵심 지표들—정확도(F), 오류 상관관계(rho), 전파 균형(B), 컨텍스트 압력(C)—를 밝혀냈습니다. 이러한 지표들은 왜 계층적 토폴로지가 정보 흐름을 방해하는지 설명합니다.

테스트는 Qwen 3.5 Plus와 Gemini 3.1 Flash Lite 모델을 사용하여 CRAFT-mini와 AgentsNet-mini의 작업으로 수행되었습니다. 통신 예산은 메시지당 0, 32, 또는 96 토큰으로 제한되었습니다. 토폴로지: 스타와 균형 트리.

통신 분석을 위한 지표

벤치마크는 events.jsonl 로그에서 네 가지 변수를 추출하여 그래프의 물리적 특성을 측정합니다:

• F (정확도): 리프에서 루트까지 각 홉에서 살아남은 핵심 사실의 백분율.
• rho (오류 상관관계): 통신 없이 에이전트들이 동일한 오류를 범하는 경향성 (vote_local).
• B (전파 균형): 엣지 간 살아남은 사실 분포의 지니 계수.
• C (팬인 압력): 노드의 컨텍스트 창으로 들어오는 토큰의 비율.

합성 테스트(test_replay.py)는 지표가 최종 점수와 독립적임을 확인했습니다: 잘못된 답변(Score=0)에서 추출기는 F=0.66과 B<1.0을 기록했습니다.

데이터셋—144 사이클, 폴백 없는 무균 환경에서의 2000 API 호출.

베이스라인 예측기의 속임수

베이스라인 ML 모델(Heuristic RF)은 평균 청구 토큰(48% 중요도)을 기반으로 성공을 평가하며, 본질을 무시합니다. F, rho, B, C에 접근할 수 있는 Core RF 모델은 rho(36%), F—15%, B—8%를 우선시합니다.

이는 토큰이 효과성과 상관관계가 없음을 보여줍니다. 그래프의 물리적 지표가 없는 예측기는 실제 조율 문제에 대해 맹목적입니다.

토폴로지 패널티: 왜 계층 구조가 무너지는가

스타 토폴로지에서 점수는 1.00에 도달합니다. 96 토큰에서 균형 트리로 전환하면 Gemini의 점수가 0.75로 감소합니다(-0.25 델타).

지표에서의 이유:

• F가 25% 감소: 압축으로 인해 중간 노드에서 사실이 손실됩니다.
• B 감소: 전파 불균형이 "전화 게임" 효과를 증폭시킵니다.

계층적 구조는 토큰 제한 아래에서 컨텍스트를 소모합니다. 평평한 그래프가 정보를 더 잘 보존합니다.

자연적 격리 역설

방해자(잘못된 답변을 가진 리프 에이전트)를 도입하면 트레이드오프가 드러났습니다.

• 스타: 바이러스가 즉시 확산됩니다(루트까지 1 홉), 점수가 붕괴됩니다.
• 트리: F의 저하가 중간 노드에서 허위 정보를 걸러내어 회복력을 보장합니다.

효율적인 통신은 취약성을 증가시킵니다. 깊은 그래프는 격리를 위해 속도를 희생합니다.

핵심 요약

• 지표 F, rho, B, C는 최종 점수와 독립적으로 붕괴를 예측합니다.
• 계층 구조(트리)는 96 토큰 예산에서 정확도를 25% 감소시킵니다.
• 스타는 조율에 최적이지만 방해에 취약합니다.
• 트리는 사실 손실의 대가로 허위 정보에 대한 자연적 필터를 제공합니다.
• 벤치마크 v0.1.0은 연금술 없이 LLM 그래프를 분석하기 위해 공개되었습니다.

향후 방향

현재 LLM은 유기적 붕괴에 대해 너무 안정적입니다. v0.2.0은 지표를 확장하고, 공격을 추가하며, 수학적 군집 설계를 위한 질서 매개변수를 탐색할 것입니다.

벤치마크는 부정적 결과를 포착합니다: 다중 에이전트 시스템이 항상 개선되지는 않습니다. 프로덕션에서의 제거 연구에 사용하십시오.

— Editorial Team