GLM-5.1이 SWE-Bench Pro에서 선두: 58.4%

GLM-5.1: 플라토 없는 장기 코드 최적화 AI

Z.ai의 GLM-5.1이 SWE-Bench Pro에서 58.4점을 기록하며 1위를 차지했습니다. GPT-5.4(57.7), Claude Opus 4.6(57.3), Gemini 3.1 Pro(54.2)를 모두 앞질렀습니다. 이 모델은 Hugging Face에서 MIT 라이선스로 제공됩니다. 핵심 돌파구는 장기 세션에 대한 강인함입니다. 작업을 분해하고 실험을 수행하며 로그를 분석하고 수백 번의 반복 동안 전략을 조정합니다.

빠른 플라토 대신 장기 최적화

이전 모델들, GLM-5를 포함해서 도구를 빠르게 소진합니다. 표준 접근법을 적용한 뒤 국부 최적점에 도달하면 멈추죠. GLM-5.1은 수시간에 걸친 사이클을 위해 설계됐습니다. 피드백 루프로 감싸여 다음과 같이 작동합니다:

• 작업을 하위 목표로 분해.
• 도구로 실험 실행.
• 메트릭과 로그 읽기.
• 병목 지점 식별.
• 전략 재구축.

이로 인해 수천 번의 도구 호출을 통해 플라토를 극복할 수 있습니다.

브라우저 속 Linux 데스크톱: 8시간 자율 조립

작업: 소스 코드나 모형 없이 Linux 데스크톱을 시뮬레이션하는 웹 앱 구현. 일반 모델들은 작업 표시줄과 스텁이 있는 기본 골격을 만들고 포기합니다.

검토 사이클에서 GLM-5.1이 8시간 동안 작업했습니다:

• 네비게이션과 미리보기가 있는 파일 매니저 구축.
• bash 에뮬레이션이 있는 터미널 추가.
• 구문 강조가 있는 텍스트 에디터 통합.
• 시스템 모니터 구현 (CPU, RAM, 네트워크).
• 계산기와 간단한 게임 포함.

모든 구성 요소가 통일된 UI 스타일로 구현됐습니다. 모델 스스로 각 패스 후 개선할 부분을 결정했습니다.

VectorDBBench 기록: 600+ 반복으로 6배 속도 향상

벤치마크: Rust 골격에서 근사 최근접 이웃(ANN) 검색 최적화. 이전 SOTA인 Claude Opus 4.6은 50회 반복으로 3547 QPS.

확장 사이클(600+ 제출, 6000+ 호출)에서 GLM-5.1:

• 21.5k QPS 달성 — 6배 향상.
• 6번의 구조 재구축 거침:

- Brute force → IVF 인덱스.

- 벡터 압축 f16.

- 2단계 검색: u8 스코어링 + f16 랭킹.

- 계층적 라우팅.

진행 그래프는 계단 모양: 로그 분석 기반 세밀 조정과 급진적 접근 변경이 번갈아.

KernelBench 레벨 3: GPU 최적화

작업: GPU 커널 튜닝. GLM-5.1이 1200회 반복으로 3.6배 속도 향상. Claude Opus 4.6이 선두(4.2×)지만 GLM은 장기 세션에서 잠재력 보임.

제공 여부와 한계

모델은 Claude Code, OpenCode, Cline, OpenClaw와 통합됩니다. GLM Coding Plan 구독자에게 제공. 단점:

• 피크 시 쿼터 3배 빠른 소모 (4월 말까지, 오프피크는 기본 요율).
• 수천 호출에서 일관성 약함.
• 메트릭 없는 자체 평가 취약.

Z.ai는 장기 작업 최적화를 계획 중입니다.

주요 요점

• GLM-5.1, 장기 사고로 SWE-Bench Pro SOTA(58.4%) 제침.
• VectorDBBench에서 21.5k QPS — 기록 6배.
• 힌트 없이 8시간 만에 브라우저 속 완전 Linux 데스크톱 조립.
• 계단식 진행: 6번 전략 재구축.
• 극한 세션용 일관성 개선 필요.

— Editorial Team