ToolBench: MCP 서버의 품질 위기

# Arcade의 ToolBench: 41,000 MCP 서버와 도구 품질 위기

스타트업 Arcade의 공개 벤치마크인 ToolBench가 41,921개의 MCP 서버를 인덱싱하고 218,422개의 도구를 분석했습니다. 결과: 도구 중 0.5%만 A 등급 이상을 받았습니다. 76.6%는 F를 받았습니다—100점 만점에 50점 미만입니다. 이는 서버 수가 품질보다 빠르게 증가하는 생태계의 미성숙을 나타냅니다.

MCP (Model Context Protocol)는 AI 에이전트를 외부 도구와 통합하기 위한 개방형 표준입니다. 2026년 3월까지 이 프로토콜의 SDK는 매월 9,700만 회 다운로드되었습니다. OpenAI, Google, Microsoft의 지원과 Linux Foundation으로의 이관을 받았습니다. 하지만 ToolBench에 따르면: 42,000개 서버 중 생산 환경에 안정적으로 사용할 수 있는 도구는 약 1,000개 정도에 불과합니다.

ToolBench 평가 기준

이 벤치마크는 서버를 네 가지 차원에서 가중치를 다르게 적용해 평가합니다. 방법론은 Arcade가 기업 고객을 위한 8,000개 이상의 생산 도구를 기반으로 개발한 54개의 에이전트 도구 패턴을 참고합니다.

로컬 서버의 경우:

• 도구 설명 품질 (50% 가중치): 정확성, 완전성, 실제 기능과의 일치 여부.
• MCP 프로토콜 준수 여부 (20%): JSON 스키마 유효성, 호출 처리.
• 유지보수성 (30%): GitHub 스타 수, 커밋 빈도, 라이선스 제공 여부.

리모트 서버의 경우 설명 품질 대신 보안이 평가됩니다:

• OAuth 2.0 및 PKCE.
• 인증 정확성.

점수는 등급으로 변환됩니다: A+ (90–100), A (80–89), ..., F (<50).

| 등급 | 점수 | 도구 비율 |

|--------|--------|-----------|

| A+–A | 80+ | 0.5% |

| B–C | 50–79 | 23.4% |

| F | <50 | 76.6% |

AI 에이전트의 장벽

문제는 서버를 넘어섭니다. 기업 플랫폼들이 에이전트 접근을 거부합니다. Slack, Workday, LinkedIn은 타사 AI를 위한 API를 제한합니다. Arcade CEO Alex Salazar는 기존 MCP 서버조차 공급자 제한으로 무용지물이라고 지적했습니다.

이는 악순환을 만듭니다: 프로토콜은 성장 중이지만, 에이전트는 실제 시나리오에서 도구를 사용할 수 없습니다. 중간 및 고급 개발자들은 생산 MCP 서버를 선택할 때 이 지표를 고려해야 합니다.

주요 요점:

• ToolBench 기준으로 MCP 도구 76.6%가 부적합(<50점).
• 로컬 서버는 설명(50%), 프로토콜(20%), 유지보수성(30%)으로 평가.
• 리모트 서버는 OAuth/PKCE와 인증으로 설명 대신 평가.
• 기업 API(Slack, LinkedIn)가 서버가 있어도 에이전트를 차단.
• 42K 서버 중 ~1K 도구만 생산 준비 완료.

개발자에 대한 시사점

ToolBench는 서버 필터링을 위한 정량적 지표를 제공합니다. 고급 AI 에이전트 개발자들은 자동 검증을 위해 이 API를 통합할 수 있습니다. MCP 생태계는 품질에 집중해야 합니다: 더 나은 설명, 표준화된 보안, 개선된 유지보수성.

SDK 다운로드 9,700만 회로의 성장은 시급성을 강조합니다: Linux Foundation에 있지만 품질 없이는 에이전트가 샌드박스에 갇힐 것입니다. 권장 사항—생산 스택에서 ToolBench의 A/B 등급 서버를 우선 선택하세요.

— Editorial Team