ToolBench: kryzys jakości serwerów MCP

# ToolBench od Arcade: 41 tysięcy serwerów MCP i kryzys jakości narzędzi

ToolBench — publiczny benchmark od startupu Arcade — zindeksował 41 921 serwerów MCP i przeanalizował 218 422 narzędzi. Wynik: zaledwie 0,5% narzędzi osiągnęło ocenę A i wyżej. 76,6% narzędzi otrzymało F — mniej niż 50 na 100 punktów. To sygnał o niedojrzałości ekosystemu, w którym liczba serwerów rośnie szybciej niż jakość.

MCP (Model Context Protocol) — otwarty standard do integracji agentów AI z zewnętrznymi narzędziami. Do marca 2026 roku SDK protokołu pobrano 97 mln razy miesięcznie. Wsparcie od OpenAI, Google, Microsoft, przekazanie do Linux Foundation. Ale ToolBench pokazuje: spośród 42 tysięcy serwerów tylko około tysiąca narzędzi jest niezawodnych dla produkcji.

Kryteria oceny w ToolBench

Benchmark sprawdza serwery w czterech wymiarach z różnymi wagami. Metodologia opiera się na 54 wzorcach narzędzi agentowych, wypracowanych przez Arcade na podstawie ponad 8000 narzędzi produkcyjnych dla klientów korporacyjnych.

Dla lokalnych serwerów:

• Jakość opisów narzędzi (50% wagi): dokładność, kompletność, zgodność z rzeczywistymi możliwościami.
• Zgodność z protokołem MCP (20%): poprawność schematów JSON, obsługa wywołań.
• Utrzymywalność (30%): gwiazdy na GitHub, częstotliwość commitów, obecność licencji.

Dla zdalnych serwerów zamiast opisów oceniana jest bezpieczeństwo:

• OAuth 2.0 i PKCE.
• Poprawność autentykacji.

Punkty przeliczane są na oceny: A+ (90–100), A (80–89), ..., F (<50).

| Ocena | Punkty | Udział narzędzi |

|--------|--------|-------------------|

| A+–A | 80+ | 0,5% |

| B–C | 50–79 | 23,4% |

| F | <50 | 76,6% |

Bariery na drodze agentów AI

Problemy nie ograniczają się do serwerów. Korporacyjne platformy opierają się dostępowi agentów. Slack, Workday, LinkedIn ograniczają API dla zewnętrznych AI. CEO Arcade Alex Salazar zauważył: nawet istniejące serwery MCP są bezużyteczne z powodu sztywnych ograniczeń dostawców.

To tworzy błędne koło: protokół rośnie, ale agenci nie mogą używać narzędzi w rzeczywistych scenariuszach. Deweloperom poziomu middle/senior warto brać pod uwagę takie metryki przy wyborze serwerów MCP dla produkcji.

Co ważne:

• 76,6% narzędzi MCP jest nieprzydatnych (<50 punktów) wg ToolBench.
• Lokalne serwery ocenia się po opisach (50%), protokole (20%), utrzymywalności (30%).
• Zdalne — po OAuth/PKCE i autentykacji zamiast opisów.
• Korporacyjne API (Slack, LinkedIn) blokują agentów nawet przy nalichii serwerów.
• Z 42 tys. serwerów ~1 tys. narzędzi gotowych do produkcji.

Implikacje dla deweloperów

ToolBench dostarcza mierzalnych metryk do filtrowania serwerów. Seniorowi deweloperzy agentów AI mogą zintegrować jego API do automatycznej walidacji. Ekosystem MCP potrzebuje skupienia na jakości: poprawa opisów, standaryzacja bezpieczeństwa, wzrost utrzymywalności.

Wzrost do 97 mln pobrań SDK podkreśla pilność: protokół w Linux Foundation, ale bez jakości agenci pozostaną w sandboxie. Rekomendacja — priorytetyzować serwery z A/B wg ToolBench w stosach produkcyjnych.

— Editorial Team