LLM-graphs 的物理学：指标 F 和 rho

LLM智能体协调的物理原理：多智能体图中的性能退化指标

基于LLM的多智能体系统常表现出不稳定性：增加智能体会导致上下文丢失和幻觉。使用Llm协调基准测试的研究揭示了关键指标——保真度（F）、错误相关性（rho）、传播平衡（B）和上下文压力（C）。这些指标解释了为何分层拓扑结构会破坏信息流。

测试在Qwen 3.5 Plus和Gemini 3.1 Flash Lite模型上进行，任务来自CRAFT-mini和AgentsNet-mini。通信预算限制为每条消息0、32或96个令牌。拓扑结构：星型和平衡树。

通信分析指标

基准测试从events.jsonl日志中提取四个变量，衡量图的物理特性：

• F（保真度）：从叶节点到根节点，每个跳转中关键事实的存活百分比。
• rho（错误相关性）：智能体在无通信情况下（vote_local）犯相同错误的倾向。
• B（传播平衡）：存活事实在边之间分布的基尼系数。
• C（扇入压力）：节点接收令牌数与其上下文窗口的比率。

合成测试（test_replay.py）确认了指标与最终得分无关：在错误答案（得分=0）的情况下，提取器记录F=0.66且B<1.0。

数据集——144个周期，2000次API调用，在无回退的纯净环境中进行。

基线预测器的作弊行为

基线ML模型（启发式随机森林）基于mean_billed_tokens（重要性48%）评估成功，忽略了本质。核心随机森林模型能访问F、rho、B、C，优先考虑rho（36%）、F（15%）、B（8%）。

这表明：令牌数与有效性无关。没有图的物理指标的预测器无法识别真正的协调问题。

拓扑惩罚：为何分层结构会崩溃

在星型拓扑中，得分达到1.00。切换到平衡树结构，在96个令牌下，Gemini的得分降至0.75（下降0.25）。

指标原因：

• F下降25%：事实在中间节点因压缩而丢失。
• B降低：传播不平衡放大了“传话游戏”效应。

分层结构在令牌限制下消耗上下文。扁平图能更好地保留信息。

自然隔离悖论

引入破坏者（提供错误答案的叶节点智能体）揭示了一种权衡。

• 星型：病毒立即传播（1跳至根节点），得分崩溃。
• 树型：F的退化在中间节点过滤错误信息，确保韧性。

高效通信增加了脆弱性。深层图以牺牲速度为代价实现隔离。

关键要点

• 指标F、rho、B、C可独立于最终得分预测崩溃。
• 分层结构（树型）在96个令牌预算下使保真度降低25%。
• 星型结构在协调上最优，但易受破坏。
• 树型结构以事实丢失为代价，为错误信息提供自然过滤。
• 基准测试v0.1.0已开源，用于分析LLM图，无需玄学。

未来方向

当前LLM过于稳定，难以自然崩溃。v0.2.0将扩展指标，增加攻击，并寻找数学群体设计的序参量。

基准测试捕捉负面结果：多智能体系统并非总能改进。在生产中可用于消融研究。

— Editorial Team