ToolBench: crisis de calidad de servidores MCP

ToolBench de Arcade: 41.000 servidores MCP y la crisis de calidad de las herramientas

ToolBench —un benchmark público de la startup Arcade— ha indexado 41.921 servidores MCP y analizado 218.422 herramientas. El resultado: solo el 0,5 % de las herramientas alcanzó una calificación A o superior. El 76,6 % de las herramientas obtuvo una F —menos de 50 sobre 100 puntos—. Esto señala la inmadurez del ecosistema, donde el número de servidores crece más rápido que la calidad.

MCP (Model Context Protocol) es un estándar abierto para integrar agentes de IA con herramientas externas. Para marzo de 2026, el SDK del protocolo ha sido descargado 97 millones de veces al mes. Apoyo de OpenAI, Google, Microsoft, y traspaso a la Linux Foundation. Pero ToolBench revela: de 42.000 servidores, solo unas mil herramientas son fiables para producción.

Criterios de evaluación de ToolBench

El benchmark evalúa los servidores en cuatro dimensiones con diferentes pesos. La metodología se basa en 54 patrones de herramientas para agentes desarrollados por Arcade a partir de más de 8.000 herramientas de producción para clientes empresariales.

Para servidores locales:

• Calidad de la descripción de herramientas (50 % de peso): precisión, exhaustividad, alineación con las capacidades reales.
• Cumplimiento del protocolo MCP (20 %): validez del esquema JSON, manejo de llamadas.
• Mantenibilidad (30 %): estrellas en GitHub, frecuencia de commits, disponibilidad de licencia.

Para servidores remotos, se evalúa la seguridad en lugar de las descripciones:

• OAuth 2.0 y PKCE.
• Corrección de la autenticación.

Las puntuaciones se convierten en calificaciones: A+ (90–100), A (80–89), ..., F (<50).

| Calificación | Puntos | Porcentaje de herramientas |

|--------------|--------|----------------------------|

| A+–A | 80+ | 0,5 % |

| B–C | 50–79 | 23,4 % |

| F | <50 | 76,6 % |

Barreras para los agentes de IA

Los problemas van más allá de los servidores. Las plataformas empresariales resisten el acceso de los agentes. Slack, Workday y LinkedIn restringen las API para IA de terceros. El CEO de Arcade, Alex Salazar, señaló: incluso los servidores MCP existentes son inútiles debido a las estrictas limitaciones de los proveedores.

Esto crea un círculo vicioso: el protocolo está creciendo, pero los agentes no pueden usar herramientas en escenarios del mundo real. Los desarrolladores de nivel medio y senior deberían considerar estas métricas al seleccionar servidores MCP para producción.

Lecciones clave:

• El 76,6 % de las herramientas MCP no son aptas (<50 puntos) según ToolBench.
• Los servidores locales se puntúan por descripciones (50 %), protocolo (20 %) y mantenibilidad (30 %).
• Los servidores remotos se puntúan por OAuth/PKCE y autenticación en lugar de descripciones.
• Las API empresariales (Slack, LinkedIn) bloquean a los agentes incluso cuando hay servidores disponibles.
• De 42K servidores, ~1K herramientas están listas para producción.

Implicaciones para los desarrolladores

ToolBench proporciona métricas cuantificables para filtrar servidores. Los desarrolladores senior de agentes de IA pueden integrar su API para validación automatizada. El ecosistema MCP necesita enfocarse en la calidad: mejores descripciones, seguridad estandarizada y mayor mantenibilidad.

El crecimiento hasta 97 millones de descargas del SDK subraya la urgencia: el protocolo está en la Linux Foundation, pero sin calidad, los agentes seguirán confinados en entornos de prueba. Recomendación: priorizar servidores con calificación A/B según ToolBench en pilas de producción.

— Editorial Team