## ToolBench von Arcade: 41.000 MCP-Server und die Krise der Tool-Qualität
ToolBench – ein öffentlicher Benchmark des Startups Arcade – hat 41.921 MCP-Server indiziert und 218.422 Tools analysiert. Ergebnis: Nur 0,5 % der Tools erreichten eine Bewertung A oder besser. 76,6 % der Tools bekamen eine F – weniger als 50 von 100 Punkten. Das signalisiert die Unreife des Ökosystems, in dem die Anzahl der Server schneller wächst als die Qualität.
MCP (Model Context Protocol) ist ein offener Standard zur Integration von KI-Agenten mit externen Tools. Bis März 2026 wurde das SDK des Protokolls monatlich 97 Millionen Mal heruntergeladen. Unterstützung von OpenAI, Google, Microsoft und Übergabe an die Linux Foundation. Doch ToolBench zeigt: Von 42.000 Servern sind nur etwa tausend Tools für den Produktionsbetrieb zuverlässig.
Bewertungskriterien von ToolBench
Der Benchmark bewertet Server in vier Dimensionen mit unterschiedlichen Gewichtungen. Die Methodik basiert auf 54 Agent-Tool-Mustern, die Arcade auf Basis von über 8.000 Produktions-Tools für Enterprise-Kunden entwickelt hat.
Für lokale Server:
- Qualität der Tool-Beschreibungen (50 % Gewichtung): Genauigkeit, Vollständigkeit, Übereinstimmung mit tatsächlichen Fähigkeiten.
- Einhaltung des MCP-Protokolls (20 %): Gültigkeit des JSON-Schemas, Behandlung von Aufrufen.
- Wartbarkeit (30 %): GitHub-Stars, Commit-Häufigkeit, Lizenzverfügbarkeit.
Für ferne Server wird statt Beschreibungen die Sicherheit bewertet:
- OAuth 2.0 und PKCE.
- Korrektheit der Authentifizierung.
Die Punkte werden in Noten umgewandelt: A+ (90–100), A (80–89), ..., F (<50).
| Bewertung | Punkte | Anteil der Tools |
|--------|--------|------------------|
| A+–A | 80+ | 0,5 % |
| B–C | 50–79 | 23,4 % |
| F | <50 | 76,6 % |
Hürden für KI-Agenten
Die Probleme gehen über Server hinaus. Enterprise-Plattformen erschweren den Zugriff von Agenten. Slack, Workday und LinkedIn schränken APIs für Drittanbieter-KI ein. Arcade-CEO Alex Salazar betonte: Selbst vorhandene MCP-Server sind nutzlos wegen strenger Einschränkungen der Anbieter.
Das schafft einen Teufelskreis: Das Protokoll wächst, aber Agenten können Tools in realen Szenarien nicht nutzen. Mid- und Senior-Entwickler sollten bei der Auswahl von MCP-Servern für den Produktionsbetrieb diese Metriken berücksichtigen.
Wichtige Erkenntnisse:
- 76,6 % der MCP-Tools sind ungeeignet (<50 Punkte) nach ToolBench.
- Lokale Server werden nach Beschreibungen (50 %), Protokoll (20 %) und Wartbarkeit (30 %) bewertet.
- Ferne Server werden nach OAuth/PKCE und Authentifizierung statt Beschreibungen bewertet.
- Enterprise-APIs (Slack, LinkedIn) blockieren Agenten, selbst wenn Server verfügbar sind.
- Von 42.000 Servern sind ~1.000 Tools produktionsreif.
Auswirkungen für Entwickler
ToolBench liefert quantifizierbare Metriken zum Filtern von Servern. Senior-KI-Agent-Entwickler können dessen API für automatisierte Validierung integrieren. Das MCP-Ökosystem braucht Fokus auf Qualität: bessere Beschreibungen, standardisierte Sicherheit und verbesserte Wartbarkeit.
Das Wachstum auf 97 Millionen SDK-Downloads unterstreicht die Dringlichkeit: Das Protokoll ist in der Linux Foundation, aber ohne Qualität bleiben Agenten in Sandboxes gefangen. Empfehlung – priorisieren Sie A/B-bewertete Server nach ToolBench in Produktionsstacks.
— Editorial Team
Noch keine Kommentare.