GLM-5.1 führt auf SWE-Bench Pro: 58.4%

# GLM-5.1: KI für langfristige Code-Optimierung ohne Plateaus

GLM-5.1 von Z.ai führt auf SWE-Bench Pro mit 58,4 Punkten, übertrifft GPT-5.4 (57,7), Claude Opus 4.6 (57,3) und Gemini 3.1 Pro (54,2). Das Modell ist auf Hugging Face unter der MIT-Lizenz verfügbar. Der Schlüssel-Durchbruch – Widerstandsfähigkeit bei langen Sitzungen: Es zerlegt Aufgaben, führt Experimente durch, analysiert Logs und passt Strategien über Hunderte von Iterationen an.

Langfristige Optimierung statt schneller Plateaus

Frühere Modelle, einschließlich GLM-5, verbrauchen ihre Werkzeuge schnell: Sie wenden Standardansätze an, erreichen ein lokales Maximum und hören auf. GLM-5.1 ist für Mehrstunden-Zyklen ausgelegt. Mit Feedback umhüllt, tut es Folgendes:

• Zerlegt die Aufgabe in Unterziele.
• Führt Experimente mit Tools durch.
• Liest Metriken und Logs.
• Identifiziert Engpässe.
• Baut die Strategie neu auf.

Das ermöglicht das Überwinden von Plateaus durch Tausende von Tool-Aufrufen.

Linux-Desktop im Browser: 8 Stunden autonome Montage

Aufgabe: Eine Web-App implementieren, die einen Linux-Desktop simuliert – ohne Quellcode oder Mockups. Typische Modelle erstellen ein Skelett mit Taskleiste und Stubs, dann geben sie auf.

GLM-5.1 in einem Review-Zyklus arbeitete 8 Stunden:

• Baute einen Dateimanager mit Navigation und Vorschauen.
• Fügte ein Terminal mit bash-Emulation hinzu.
• Integrierte einen Texteditor mit Syntaxhervorhebung.
• Implementierte einen Systemmonitor (CPU, RAM, Netzwerk).
• Inkludierte einen Taschenrechner und einfache Spiele.

Alle Komponenten in einem einheitlichen UI-Stil. Das Modell entschied selbst, was nach jedem Durchlauf verfeinert werden soll.

Rekord auf VectorDBBench: 6-fache Beschleunigung über 600+ Iterationen

Benchmark: Optimierung der Suche nach approximativen nächsten Nachbarn (ANN) auf einem Rust-Skelett. Früheres SOTA von Claude Opus 4.6 – 3547 QPS in 50 Iterationen.

GLM-5.1 in einem erweiterten Zyklus (600+ Einreichungen, 6000+ Aufrufe):

• Erreichte 21,5k QPS – 6-fach besser.
• Durchlief 6 strukturelle Neubauten:

- Brute Force → IVF-Index.

- Vektorkompression auf f16.

- Zwei-Stufen-Suche: u8-Bewertung + f16-Rangierung.

- Hierarchisches Routing.

Fortschrittsgraph – eine Treppe: Spot-Tuning wechselt sich mit radikalen Ansatzänderungen basierend auf Log-Analyse ab.

KernelBench Level 3: GPU-Optimierung

Aufgabe: GPU-Kernel abstimmen. GLM-5.1 beschleunigte es 3,6-fach über 1200 Iterationen. Claude Opus 4.6 führt (4,2×), aber GLM zeigt Potenzial bei langen Sitzungen.

Verfügbarkeit und Einschränkungen

Das Modell integriert sich mit Claude Code, OpenCode, Cline, OpenClaw. Verfügbar für Abonnenten des GLM Coding Plan. Nachteile:

• Im Peak verbraucht es Quota 3× schneller (bis Ende April, außerhalb der Spitzenzeiten – zum Basistarif).
• Hat Probleme mit Kohärenz über Tausende von Aufrufen.
• Selbstbewertung ohne Metriken ist schwach.

Z.ai plant Optimierungen für lang laufende Aufgaben.

Wichtige Erkenntnisse

• GLM-5.1 schlägt SOTA auf SWE-Bench Pro (58,4 %) dank langfristigem Denken.
• Auf VectorDBBench erreichte es 21,5k QPS – 6× den Rekord.
• Baute einen vollständigen Linux-Desktop im Browser in 8 Stunden ohne Hinweise zusammen.
• Zeigt Treppenfortschritt: 6 Strategie-Neubauten.
• Braucht Kohärenz-Verbesserungen für extreme Sitzungen.

— Editorial Team