La Física de la Coordinación de Agentes LLM: Métricas de Degradación en Grafos Multiagente
Los sistemas multiagente basados en LLMs suelen mostrar inestabilidad: añadir agentes provoca pérdida de contexto y alucinaciones. Una investigación utilizando el benchmark Llm coordination harness reveló métricas clave—Fidelidad (F), correlación de errores (rho), balance de propagación (B) y presión de contexto (C). Estos indicadores explican por qué las topologías jerárquicas alteran el flujo de información.
Las pruebas se realizaron en los modelos Qwen 3.5 Plus y Gemini 3.1 Flash Lite con tareas de CRAFT-mini y AgentsNet-mini. Los presupuestos de comunicación se limitaron a 0, 32 o 96 tokens por mensaje. Topologías: Estrella y Árbol Balanceado.
Métricas para el Análisis de Comunicación
El benchmark extrae cuatro variables de los registros events.jsonl, midiendo la física del grafo:
- F (Fidelidad): porcentaje de hechos críticos que sobreviven en cada salto desde la hoja hasta la raíz.
- rho (correlación de errores): tendencia de los agentes a cometer errores idénticos sin comunicación (vote_local).
- B (Balance de Propagación): coeficiente de Gini para la distribución de hechos sobrevivientes a través de las aristas.
- C (Presión de Fan-in): proporción de tokens entrantes respecto a la ventana de contexto de un nodo.
Pruebas sintéticas (test_replay.py) confirmaron la independencia de las métricas respecto a la puntuación final: con una respuesta incorrecta (Score=0), el extractor registró F=0.66 y B<1.0.
Conjunto de datos—144 ciclos, 2000 llamadas API en un entorno estéril sin respaldos.
Engaño de los Predictores de Línea Base
Los modelos ML de línea base (Heuristic RF) evalúan el éxito basándose en mean_billed_tokens (48% de importancia), ignorando la esencia. El modelo Core RF, con acceso a F, rho, B, C, prioriza rho (36%), F—15%, B—8%.
Esto demuestra: los tokens no se correlacionan con la efectividad. Los predictores sin las métricas físicas del grafo están ciegos ante los problemas reales de coordinación.
Penalización Topológica: Por Qué la Jerarquía Falla
En la topología Estrella, la puntuación alcanza 1.00. Cambiar a Árbol Balanceado con 96 tokens la reduce a 0.75 para Gemini (delta -0.25).
Razones en las métricas:
- F cae un 25%: los hechos se pierden en nodos intermedios debido a la compresión.
- B disminuye: el desequilibrio de propagación amplifica el "juego del teléfono".
Las estructuras jerárquicas consumen contexto bajo límites de tokens. Los grafos planos preservan mejor la información.
La Paradoja de la Cuarentena Natural
Introducir un saboteador (agente hoja con respuestas falsas) reveló un compromiso.
- Estrella: el virus se propaga instantáneamente (1 salto a la raíz), la puntuación colapsa.
- Árbol: la degradación en F filtra la desinformación en nodos intermedios, asegurando resiliencia.
La comunicación eficiente aumenta la vulnerabilidad. Los grafos profundos sacrifican velocidad por cuarentena.
Conclusiones Clave
- Las métricas F, rho, B, C predicen el colapso independientemente de la puntuación final.
- Las jerarquías (Árbol) reducen la Fidelidad un 25% con un presupuesto de 96 tokens.
- Estrella es óptima para coordinación pero vulnerable al sabotaje.
- Árbol proporciona un filtro natural para desinformación a costa de pérdida de hechos.
- El benchmark v0.1.0 está abierto para analizar grafos LLM sin alquimia.
Direcciones Futuras
Los LLMs actuales son demasiado estables para un colapso orgánico. v0.2.0 ampliará métricas, añadirá ataques y buscará un parámetro de orden para el diseño matemático de enjambres.
El benchmark captura resultados negativos: los sistemas multiagente no siempre mejoran. Úselo para estudios de ablación en producción.
— Editorial Team
Aún no hay comentarios.