Fyzika LLM-grafů: metriky F a rho

Fyzika koordinace LLM agentů: Metriky degradace v multiagentních grafech

Multiagentní systémy založené na LLM často vykazují nestabilitu: přidání agentů vede ke ztrátě kontextu a halucinacím. Výzkum pomocí testovacího prostředí Llm coordination harness odhalil klíčové metriky – Věrnost (F), korelaci chyb (rho), rovnováhu šíření (B) a tlak na kontext (C). Tyto ukazatele vysvětlují, proč hierarchické topologie narušují přenos informací.

Testování probíhalo na modelech Qwen 3.5 Plus a Gemini 3.1 Flash Lite s úlohami z CRAFT-mini a AgentsNet-mini. Komunikační rozpočet byl omezen na 0, 32 nebo 96 tokenů na zprávu. Topologie: Hvězda a Vyvážený strom.

Metriky pro analýzu komunikace

Testovací prostředí extrahuje ze souborů events.jsonl čtyři proměnné, které měří fyziku grafu:

• F (Věrnost): procento přežití kritických faktů na každém skoku od listu ke kořeni.
• rho (korelace chyb): sklon agentů k stejným chybám bez komunikace (vote_local).
• B (Rovnováha šíření): Giniho koeficient pro distribuci přeživších faktů přes hrany.
• C (Tlak fan-in): poměr příchozích tokenů ke kontextovému oknu uzlu.

Syntetické testy (test_replay.py) potvrdily nezávislost metrik na finálním skóre: při nesprávné odpovědi (Score=0) extraktor zaznamená F=0,66 a B<1,0.

Datová sada – 144 cyklů, 2000 API volání ve sterilním prostředí bez fallbacků.

Podvádění základních prediktorů

Základní ML modely (Heuristic RF) hodnotí úspěch podle mean_billed_tokens (48 % důležitosti), ignorujíce podstatu. Model Core RF s přístupem k F, rho, B, C staví rho na první místo (36 %), F – 15 %, B – 8 %.

To ukazuje: tokeny nekorelují s efektivitou. Prediktory bez fyzických metrik grafu jsou slepé k reálným problémům koordinace.

Topologická penalizace: Proč hierarchie ničí

V topologii Hvězda skóre dosahuje 1,00. Přechod na Vyvážený strom při 96 tokenech snižuje skóre na 0,75 u Gemini (delta -0,25).

Příčina je v metrikách:

• F klesá o 25 %: fakta se ztrácejí na mezilehlých uzlech kvůli kompresi.
• B se snižuje: nerovnováha šíření zesiluje efekt „hluchého telefonu“.

Hierarchické struktury pohlcují kontext při omezeních tokenů. Ploché grafy zachovávají informace lépe.

Paradox přirozené karantény

Zavedení sabotéra (list-agent s falešnými odpověďmi) odhalilo kompromis.

• Hvězda: virus se šíří okamžitě (1 skok ke kořeni), skóre kolabuje.
• Strom: degradace F filtruje dezinformace na mezilehlých uzlech, zajišťuje odolnost.

Efektivní komunikace zvyšuje zranitelnost. Hluboké grafy obětují rychlost pro karanténu.

Co je důležité

• Metriky F, rho, B, C předpovídají kolaps nezávisle na finálním skóre.
• Hierarchie (Strom) snižují Věrnost o 25 % při rozpočtu 96 tokenů.
• Hvězda je optimální pro koordinaci, ale zranitelná vůči sabotáži.
• Strom zajišťuje přirozený filtr dezinformací díky ztrátě faktů.
• Testovací prostředí v0.1.0 je otevřeno pro analýzu LLM grafů bez alchymie.

Perspektivy vývoje

Současné LLM jsou příliš stabilní pro organický kolaps. v0.2.0 rozšíří metriky, přidá útoky a hledání order parameter pro matematický design rojů.

Testovací prostředí zaznamenává negativní výsledky: multiagentnost ne vždy zlepšuje. Používejte pro ablation studies v produkci.

— Editorial Team