Physique des LLM-graphs : métriques F et rho

La physique de la coordination des agents LLM : métriques de dégradation dans les graphes multi-agents

Les systèmes multi-agents basés sur les LLM présentent souvent une instabilité : l'ajout d'agents entraîne une perte de contexte et des hallucinations. Une recherche utilisant le benchmark Llm coordination harness a révélé des métriques clés—la Fidélité (F), la corrélation d'erreurs (rho), l'équilibre de propagation (B) et la pression contextuelle (C). Ces indicateurs expliquent pourquoi les topologies hiérarchiques perturbent le flux d'informations.

Les tests ont été menés sur les modèles Qwen 3.5 Plus et Gemini 3.1 Flash Lite avec des tâches issues de CRAFT-mini et AgentsNet-mini. Les budgets de communication étaient limités à 0, 32 ou 96 jetons par message. Topologies : Étoile et Arbre équilibré.

Métriques pour l'analyse de la communication

Le benchmark extrait quatre variables des journaux events.jsonl, mesurant la physique du graphe :

• F (Fidélité) : pourcentage de faits critiques survivant à chaque saut de la feuille à la racine.
• rho (corrélation d'erreurs) : tendance des agents à faire des erreurs identiques sans communication (vote_local).
• B (Équilibre de propagation) : coefficient de Gini pour la distribution des faits survivants à travers les arêtes.
• C (Pression d'entrée) : ratio des jetons entrants par rapport à la fenêtre contextuelle d'un nœud.

Les tests synthétiques (test_replay.py) ont confirmé l'indépendance des métriques par rapport au score final : avec une réponse incorrecte (Score=0), l'extracteur a enregistré F=0,66 et B<1,0.

Jeu de données—144 cycles, 2000 appels API dans un environnement stérile sans mécanismes de secours.

Tromperie des prédicteurs de base

Les modèles ML de base (Heuristic RF) évaluent le succès en fonction de mean_billed_tokens (48 % d'importance), ignorant l'essentiel. Le modèle Core RF, avec accès à F, rho, B, C, priorise rho (36 %), F—15 %, B—8 %.

Cela montre : les jetons ne corrèlent pas avec l'efficacité. Les prédicteurs sans les métriques physiques du graphe sont aveugles aux vrais problèmes de coordination.

Pénalité topologique : pourquoi la hiérarchie s'effondre

Dans la topologie Étoile, le score atteint 1,00. Passer à l'Arbre équilibré à 96 jetons le réduit à 0,75 pour Gemini (delta -0,25).

Raisons dans les métriques :

• F baisse de 25 % : les faits sont perdus aux nœuds intermédiaires à cause de la compression.
• B diminue : le déséquilibre de propagation amplifie l'« effet téléphone arabe ».

Les structures hiérarchiques consomment du contexte sous limites de jetons. Les graphes plats préservent mieux l'information.

Le paradoxe de la quarantaine naturelle

L'introduction d'un saboteur (agent feuille avec de fausses réponses) a révélé un compromis.

• Étoile : le virus se propage instantanément (1 saut vers la racine), le score s'effondre.
• Arbre : la dégradation en F filtre la désinformation aux nœuds intermédiaires, assurant une résilience.

Une communication efficace augmente la vulnérabilité. Les graphes profonds sacrifient la vitesse pour la quarantaine.

Points clés à retenir

• Les métriques F, rho, B, C prédisent l'effondrement indépendamment du score final.
• Les hiérarchies (Arbre) réduisent la Fidélité de 25 % avec un budget de 96 jetons.
• L'Étoile est optimale pour la coordination mais vulnérable au sabotage.
• L'Arbre fournit un filtre naturel contre la désinformation au prix d'une perte de faits.
• Le benchmark v0.1.0 est ouvert pour analyser les graphes LLM sans alchimie.

Orientations futures

Les LLM actuels sont trop stables pour un effondrement organique. La v0.2.0 élargira les métriques, ajoutera des attaques et recherchera un paramètre d'ordre pour la conception mathématique d'essaims.

Le benchmark capture les résultats négatifs : les systèmes multi-agents ne s'améliorent pas toujours. Utilisez-le pour des études d'ablation en production.

— Editorial Team