ToolBench: krize kvality MCP serverů

ToolBench od Arcade: 41 tisíc MCP serverů a krize kvality nástrojů

ToolBench — veřejný benchmark od startupu Arcade — indexoval 41 921 MCP serverů a prozkoumal 218 422 nástrojů. Výsledek: pouze 0,5 % nástrojů dosáhlo hodnocení A a vyššího. 76,6 % nástrojů získalo F — méně než 50 z 100 bodů. To je signál o nezralosti ekosystému, kde počet serverů roste rychleji než kvalita.

MCP (Model Context Protocol) — otevřený standard pro integraci AI agentů s externími nástroji. Do března 2026 bylo SDK protokolu staženo 97 milionůkrát měsíčně. Podpora od OpenAI, Google, Microsoft, předání do Linux Foundation. Ale ToolBench ukazuje: z 42 tisíc serverů je pro produkci spolehlivých jen asi tisíc nástrojů.

Kritéria hodnocení v ToolBench

Benchmark testuje servery ve čtyřech dimenzích s různými váhami. Metodika vychází z 54 vzorů agentních nástrojů, které Arcade vyvinul na základě více než 8000 produkčních nástrojů pro korporátní klienty.

Pro lokální servery:

• Kvalita popisů nástrojů (50 % váhy): přesnost, úplnost, shoda s reálnými možnostmi.
• Soulad s protokolem MCP (20 %): validita JSON schémat, zpracování volání.
• Podporovatelnost (30 %): GitHub hvězdičky, frekvence commitů, přítomnost licence.

Pro vzdálené servery se místo popisů hodnotí bezpečnost:

• OAuth 2.0 a PKCE.
• Správnost autentizace.

Body se převádějí na hodnocení: A+ (90–100), A (80–89), ..., F (<50).

| Hodnocení | Body | Podíl nástrojů |

|----------|------|-----------------|

| A+–A | 80+ | 0,5 % |

| B–C | 50–79| 23,4 % |

| F | <50 | 76,6 % |

Bariéry na cestě AI agentů

Problémy se neomezují na servery. Podnikové platformy brání přístupu agentům. Slack, Workday, LinkedIn omezují API pro třetí strany AI. CEO Arcade Alex Salazar poznamenal: i existující MCP servery jsou bezcenné kvůli přísným omezením poskytovatelů.

To vytváří začarovaný kruh: protokol roste, ale agenti nemohou nástroje využívat v reálných scénářích. Vývojářům na střední/senior úrovni by měli takové metriky brát v úvahu při výběru MCP serverů pro produkci.

Co je důležité:

• 76,6 % MCP nástrojů je nevhodných (<50 bodů) podle ToolBench.
• Lokální servery se hodnotí podle popisů (50 %), protokolu (20 %), podpory (30 %).
• Vzdálené — podle OAuth/PKCE a autentizace místo popisů.
• Podnikové API (Slack, LinkedIn) blokují agenty i při přítomnosti serverů.
• Z 42K serverů je ~1K nástrojů production-ready.

Implikace pro vývojáře

ToolBench poskytuje kvantifikovatelné metriky pro filtrování serverů. Senior vývojáři AI agentů mohou integrovat jeho API pro automatizovanou validaci. Ekosystém MCP potřebuje zaměřit se na kvalitu: zlepšení popisů, standardizaci bezpečnosti, růst podporovatelnosti.

Růst na 97 milionů stažení SDK podtrhuje naléhavost: protokol v Linux Foundation, ale bez kvality agenti zůstanou v sandboxu. Doporučení — prioritizovat servery s A/B podle ToolBench v produkčních stackech.

— Editorial Team