Physik von LLM-Graphen: Metriken F und rho

Die Physik der LLM-Agenten-Koordination: Degradationsmetriken in Multi-Agenten-Graphen

Multi-Agenten-Systeme auf LLM-Basis zeigen oft Instabilität: Das Hinzufügen von Agenten führt zu Kontextverlust und Halluzinationen. Forschungen mit dem Llm-Coordination-Harness-Benchmark offenbarten Schlüsselmetriken – Fidelity (F), Fehlerkorrelation (rho), Propagationsbalance (B) und Kontextdruck (C). Diese Indikatoren erklären, warum hierarchische Topologien den Informationsfluss stören.

Tests wurden mit den Modellen Qwen 3.5 Plus und Gemini 3.1 Flash Lite durchgeführt, basierend auf Aufgaben aus CRAFT-mini und AgentsNet-mini. Kommunikationsbudgets waren auf 0, 32 oder 96 Tokens pro Nachricht begrenzt. Topologien: Stern und Ausgeglichener Baum.

Metriken zur Kommunikationsanalyse

Der Benchmark extrahiert vier Variablen aus events.jsonl-Logs, die die Physik des Graphen messen:

• F (Fidelity): Prozentsatz kritischer Fakten, die bei jedem Hop von Blatt zu Wurzel überleben.
• rho (Fehlerkorrelation): Tendenz von Agenten, identische Fehler ohne Kommunikation zu machen (vote_local).
• B (Propagationsbalance): Gini-Koeffizient für die Verteilung überlebender Fakten über Kanten.
• C (Fan-in-Druck): Verhältnis eingehender Tokens zum Kontextfenster eines Knotens.

Synthetische Tests (test_replay.py) bestätigten die Unabhängigkeit der Metriken vom Endergebnis: Bei einer falschen Antwort (Score=0) zeichnete der Extractor F=0,66 und B<1,0 auf.

Datensatz – 144 Zyklen, 2000 API-Aufrufe in einer sterilen Umgebung ohne Fallbacks.

Täuschung von Baseline-Vorhersagemodellen

Baseline-ML-Modelle (Heuristischer RF) bewerten Erfolg basierend auf mean_billed_tokens (48 % Bedeutung) und ignorieren das Wesentliche. Das Core-RF-Modell mit Zugriff auf F, rho, B, C priorisiert rho (36 %), F – 15 %, B – 8 %.

Das zeigt: Tokens korrelieren nicht mit Effektivität. Vorhersagemodelle ohne die physikalischen Metriken des Graphen sind blind für echte Koordinationsprobleme.

Topologische Strafe: Warum Hierarchien scheitern

In der Stern-Topologie erreicht der Score 1,00. Der Wechsel zum Ausgeglichenen Baum bei 96 Tokens reduziert ihn auf 0,75 für Gemini (-0,25 Delta).

Gründe in den Metriken:

• F sinkt um 25 %: Fakten gehen an Zwischenknoten durch Komprimierung verloren.
• B nimmt ab: Ungleichgewicht in der Verstärkung verstärkt das „Stille-Post“-Phänomen.

Hierarchische Strukturen verbrauchen Kontext unter Token-Grenzen. Flache Graphen bewahren Informationen besser.

Das natürliche Quarantäne-Paradoxon

Die Einführung eines Saboteurs (Blatt-Agent mit falschen Antworten) offenbarte einen Zielkonflikt.

• Stern: Das Virus breitet sich sofort aus (1 Hop zur Wurzel), der Score bricht ein.
• Baum: Degradation in F filtert Fehlinformationen an Zwischenknoten und gewährleistet Resilienz.

Effiziente Kommunikation erhöht die Anfälligkeit. Tiefe Graphen opfern Geschwindigkeit für Quarantäne.

Wichtige Erkenntnisse

• Metriken F, rho, B, C sagen Zusammenbrüche unabhängig vom Endergebnis voraus.
• Hierarchien (Baum) reduzieren Fidelity um 25 % bei einem 96-Token-Budget.
• Stern ist optimal für Koordination, aber anfällig für Sabotage.
• Baum bietet einen natürlichen Filter für Fehlinformationen auf Kosten von Faktenverlust.
• Benchmark v0.1.0 ist offen zur Analyse von LLM-Graphen ohne Alchemie.

Zukünftige Richtungen

Aktuelle LLMs sind zu stabil für organische Zusammenbrüche. v0.2.0 wird Metriken erweitern, Angriffe hinzufügen und nach einem Ordnungsparameter für mathematisches Schwarmdesign suchen.

Der Benchmark erfasst negative Ergebnisse: Multi-Agenten-Systeme verbessern sich nicht immer. Nutzen Sie ihn für Ablationsstudien in der Produktion.

— Editorial Team