Fizyka grafów LLM: metryki F i rho

Fizyka koordynacji agentów LLM: metryki degradacji w grafach wieloagentowych

Wieloagentowe systemy oparte na LLM często wykazują niestabilność: dodawanie agentów prowadzi do utraty kontekstu i halucynacji. Badania z wykorzystaniem platformy Llm coordination harness ujawniły kluczowe metryki — Wierność (F), korelację błędów (rho), równowagę propagacji (B) i nacisk na kontekst (C). Te wskaźniki wyjaśniają, dlaczego topologie hierarchiczne niszczą przekaz informacji.

Testy przeprowadzono na modelach Qwen 3.5 Plus i Gemini 3.1 Flash Lite z zadaniami z CRAFT-mini i AgentsNet-mini. Budżet komunikacji ograniczono do 0, 32 lub 96 tokenów na wiadomość. Topologie: Gwiazda i Drzewo Zbalansowane.

Metryki do analizy komunikacji

Platforma ekstrahuje z logów events.jsonl cztery zmienne mierzące fizykę grafu:

• F (Wierność): procent przeżycia kluczowych faktów na każdym hopie od liścia do korzenia.
• rho (korelacja błędów): skłonność agentów do popełniania tych samych błędów bez komunikacji (vote_local).
• B (Równowaga Propagacji): współczynnik Giniego dla dystrybucji przeżytych faktów po krawędziach.
• C (Nacisk Fan-in): stosunek przychodzących tokenów do okna kontekstowego węzła.

Testy syntetyczne (test_replay.py) potwierdziły niezależność metryk od końcowego wyniku: przy błędnej odpowiedzi (Score=0) ekstraktor rejestruje F=0.66 i B<1.0.

Zbiór danych — 144 cykle, 2000 wywołań API w sterylnym środowisku bez fallbacków.

Oszukiwanie podstawowych predyktorów

Podstawowe modele ML (Heuristic RF) oceniają sukces na podstawie mean_billed_tokens (48% ważności), ignorując istotę. Model Core RF z dostępem do F, rho, B, C stawia rho na pierwszym miejscu (36%), F — 15%, B — 8%.

To pokazuje: tokeny nie korelują z efektywnością. Predyktory bez fizycznych metryk grafu są ślepe na rzeczywiste problemy koordynacji.

Kara topologiczna: dlaczego hierarchia niszczy

W topologii Gwiazda score osiąga 1.00. Przejście do Drzewa Zbalansowanego przy 96 tokenach obniża go do 0.75 dla Gemini (-0.25 delta).

Przyczyna tkwi w metrykach:

• F spada o 25%: fakty gubią się na węzłach pośrednich z powodu kompresji.
• B maleje: nierównowaga propagacji wzmacnia efekt "głuchego telefonu".

Struktury hierarchiczne pochłaniają kontekst przy limitach tokenów. Płaskie grafy lepiej zachowują informację.

Paradoks naturalnej kwarantanny

Wprowadzenie sabotażysty (agent-liść z fałszywymi odpowiedziami) ujawniło kompromis.

• Gwiazda: wirus rozprzestrzenia się natychmiast (1 hop do korzenia), score załamuje się.
• Drzewo: degradacja F filtruje dezinformację na węzłach pośrednich, zapewniając odporność.

Skuteczna komunikacja zwiększa podatność. Głębokie grafy poświęcają prędkość dla kwarantanny.

Co jest ważne

• Metryki F, rho, B, C przewidują załamanie niezależnie od końcowego score.
• Hierarchie (Drzewo) obniżają Wierność o 25% przy budżecie 96 tokenów.
• Gwiazda jest optymalna dla koordynacji, ale podatna na sabotaż.
• Drzewo zapewnia naturalny filtr dezinformacji kosztem utraty faktów.
• Platforma v0.1.0 jest otwarta do analizy grafów LLM bez alchemii.

Perspektywy rozwoju

Obecne LLM są zbyt stabilne dla organicznego załamania. v0.2.0 rozszerzy metryki, doda ataki i poszukiwanie parametru porządku dla matematycznego projektowania rojów.

Platforma rejestruje negatywne wyniki: wieloagentowość nie zawsze poprawia. Używaj do badań ablacyjnych w produkcji.

— Editorial Team