GLM-5.1: Bestes Open-Source für agentische Aufgaben

GLM-5.1: Open-Source-Modell für lang andauernde agentische Aufgaben im Engineering

Z.ai hat GLM-5.1 veröffentlicht – ein Open-Source-Modell unter der MIT-Lizenz, das für mehrstufige Engineering-Aufgaben optimiert ist. Auf SWE-Bench Pro erreichte es 58,4 %, und übertraf damit Claude Opus 4.6 (57,3 %) und GPT-5.4 (57,7 %). In NL2Repo verbesserte das Modell die Punktzahl von 35,9 % auf 42,7 % im Vergleich zu GLM-5. Das macht es geeignet für Szenarien, die sequenzielle Aufgabenlösung erfordern, ohne dass die Strategien schnell erschöpft sind.

Ein zentrales Merkmal von GLM-5.1 ist sein Verhalten in langen Sitzungen: Das Modell passt seine Ansätze an, indem es Zwischenergebnisse analysiert, anstatt nach anfänglichem Fortschritt stehen zu bleiben.

Leistung bei lang andauernden Aufgaben

Die meisten großen Sprachmodelle lösen einfache Unteraufgaben schnell, stagnieren dann aber. GLM-5.1 ist für anhaltende Verbesserungen ausgelegt. Drei Schlüsselsperimente demonstrieren dies:

• Optimierung einer Vektor-Datenbank in Rust. Das Modell erhielt Code mit Stubs und die Aufgabe, die Suche auf SIFT-1M zu beschleunigen. Über 600 Iterationen stieg die QPS von 3500 auf 21.500 (x6). Die Strategien entwickelten sich weiter: von Vollscans zu clustergestützter Suche, Vektorkompression (f32 → f16) und einem zweistufigen Pipeline.

• KernelBench: Beschleunigung von GPU-Kernels. Bei 50 Aufgaben, PyTorch-Operationen in CUDA umzuschreiben, lieferte GLM-5.1 im Durchschnitt eine Beschleunigung von x3,6. Claude Opus 4.6 erreichte x4,2. Beide Modelle machten bis zur Grenze weiter Fortschritte.

• Erstellung eines Linux-Desktops im Browser. Über 8 Stunden baute das Modell einen vollständigen Desktop auf: Dateimanager, Terminal, Editor und Monitor. Nach jeder Phase analysierte es die Ausgabe und passte den Plan an.

Verfügbarkeit und Integration

Die Modellgewichte sind auf HuggingFace und ModelScope verfügbar. Die Unterstützung für vLLM und SGLang ermöglicht effiziente Inferenz. Für Entwickler auf Mittel- bis Senior-Niveau bedeutet das lokale Bereitstellung ohne proprietäre Abhängigkeiten.

Leistungsvergleich auf Benchmarks:

| Benchmark | GLM-5.1 | Claude Opus 4.6 | GPT-5.4 | GLM-5 |

|--------------|---------|-----------------|---------|-------|

| SWE-Bench Pro| 58.4% | 57.3% | 57.7% | - |

| NL2Repo | 42.7% | - | - | 35.9% |

| KernelBench (speedup) | x3.6 | x4.2 | - | - |

Diese Ergebnisse unterstreichen seinen Vorteil in agentischen Szenarien mit vielen Iterationen.

Wichtige Erkenntnisse

• GLM-5.1 zeigt anhaltenden Fortschritt bei Aufgaben mit 600+ Schritten und wechselt Strategien basierend auf Logs.
• MIT-Lizenz und Unterstützung für vLLM/SGLang vereinfachen die Integration in Produktionspipelines.
• Ergebnisse auf SWE-Bench Pro und NL2Repo platzieren es an der Spitze der Open-Source-Modelle für Coding.
• Experimente bestätigen die Wirksamkeit bei Optimierungen (Rust-Datenbank, CUDA-Kernels) und autonomer Systemzusammenstellung.
• Ideal für Agent-Frameworks, die Selbstreflexion erfordern.

Anwendungen in der Entwicklung

Für Teams, die mit KI-Agenten arbeiten, bietet GLM-5.1 ein Tool zur Automatisierung von Engineering-Workflows. Bei der Datenbankoptimierung wechselt das Modell eigenständig von einfachen zu fortgeschrittenen Methoden wie Quantisierung und mehrstufiger Indexierung. Ähnlich bei KernelBench: Fokus auf die Analyse von Engpässen vor der Refactoring.

Im Szenario der Desktop-Zusammenstellung demonstriert es Fähigkeiten zum zustandsbehafteten Reasoning – Kontext über Stunden hinweg verfolgen und Duplikate vermeiden.

Entwickler können das Modell für einsetzen:

• Echtzeit-Code-Generierung und -Optimierung.
• Automatisiertes Testen von Hypothesen in leistungsintensiven Aufgaben.
• Selbstverbessernde Schleifen in CI/CD mit Metrikenanalyse.

Insgesamt Verbesserungen in den Experimenten: von x3,6 bei Kernels bis x6 bei QPS, was GLM-5.1 für Systeme mit hoher Last relevant macht.

— Editorial Team