ToolBench : crise de qualité des serveurs MCP

ToolBench d'Arcade : 41 000 serveurs MCP et la crise de la qualité des outils

ToolBench — un benchmark public de la startup Arcade — a indexé 41 921 serveurs MCP et analysé 218 422 outils. Résultat : seulement 0,5 % des outils ont obtenu une note A ou supérieure. 76,6 % des outils ont eu un F — moins de 50 sur 100 points. Cela signale l'immaturité de l'écosystème, où le nombre de serveurs croît plus vite que la qualité.

MCP (Model Context Protocol) est une norme ouverte pour intégrer des agents IA avec des outils externes. D'ici mars 2026, le SDK du protocole est téléchargé 97 millions de fois par mois. Soutien d'OpenAI, Google, Microsoft, et transfert à la Linux Foundation. Mais ToolBench révèle : sur 42 000 serveurs, seulement environ 1 000 outils sont fiables pour la production.

Critères d'évaluation de ToolBench

Le benchmark évalue les serveurs sur quatre dimensions avec des pondérations différentes. La méthodologie s'appuie sur 54 patterns d'outils d'agents développés par Arcade à partir de plus de 8 000 outils de production pour des clients entreprise.

Pour les serveurs locaux :

• Qualité de la description des outils (50 % de poids) : précision, exhaustivité, alignement avec les capacités réelles.
• Conformité au protocole MCP (20 %) : validité du schéma JSON, gestion des appels.
• Maintenabilité (30 %) : étoiles GitHub, fréquence des commits, disponibilité de la licence.

Pour les serveurs distants, la sécurité est évaluée à la place des descriptions :

• OAuth 2.0 et PKCE.
• Correction de l'authentification.

Les scores sont convertis en notes : A+ (90–100), A (80–89), ..., F (<50).

| Note | Points | Part des outils |

|--------|--------|-----------------|

| A+–A | 80+ | 0,5 % |

| B–C | 50–79 | 23,4 % |

| F | <50 | 76,6 % |

Barrières pour les agents IA

Les problèmes vont au-delà des serveurs. Les plateformes entreprise résistent à l'accès des agents. Slack, Workday et LinkedIn restreignent les API pour les IA tierces. Le PDG d'Arcade Alex Salazar a noté : même les serveurs MCP existants sont inutiles en raison des limitations strictes des fournisseurs.

Cela crée un cercle vicieux : le protocole grandit, mais les agents ne peuvent pas utiliser les outils dans des scénarios réels. Les développeurs de niveau intermédiaire et senior devraient considérer ces métriques lors du choix de serveurs MCP pour la production.

Points clés :

• 76,6 % des outils MCP sont inadaptés (<50 points) selon ToolBench.
• Les serveurs locaux sont notés sur les descriptions (50 %), le protocole (20 %) et la maintenabilité (30 %).
• Les serveurs distants sont notés sur OAuth/PKCE et l'authentification au lieu des descriptions.
• Les API entreprise (Slack, LinkedIn) bloquent les agents même quand les serveurs sont disponibles.
• Sur 42 000 serveurs, ~1 000 outils sont prêts pour la production.

Implications pour les développeurs

ToolBench fournit des métriques quantifiables pour filtrer les serveurs. Les développeurs seniors d'agents IA peuvent intégrer son API pour une validation automatisée. L'écosystème MCP a besoin d'un accent sur la qualité : meilleures descriptions, sécurité standardisée et maintenabilité améliorée.

La croissance à 97 millions de téléchargements du SDK souligne l'urgence : le protocole est à la Linux Foundation, mais sans qualité, les agents resteront en sandbox. Recommandation — prioriser les serveurs notés A/B selon ToolBench dans les stacks de production.

— Editorial Team