GLM-5.1 : meilleur open-source pour les tâches agentiques

GLM-5.1 : Modèle open source pour les tâches agentiques de longue durée en ingénierie

Z.ai a publié GLM-5.1 — un modèle open source sous licence MIT, optimisé pour les tâches d'ingénierie multi-étapes. Sur SWE-Bench Pro, il a obtenu 58,4 %, surpassant Claude Opus 4.6 (57,3 %) et GPT-5.4 (57,7 %). Sur NL2Repo, le modèle a amélioré le score de 35,9 % à 42,7 % par rapport à GLM-5. Cela le rend adapté aux scénarios nécessitant une résolution séquentielle de tâches sans épuiser rapidement les stratégies.

Une fonctionnalité clé de GLM-5.1 est son comportement lors de sessions longues : le modèle adapte ses approches en analysant les résultats intermédiaires, au lieu de s'arrêter après les progrès initiaux.

Performances sur les tâches de longue durée

La plupart des LLMs résolvent rapidement les sous-tâches simples mais stagnent ensuite. GLM-5.1 est conçu pour une amélioration soutenue. Trois expériences clés démontrent cela :

• Optimisation d'une base de données vectorielle en Rust. Le modèle a reçu du code avec des stubs et une tâche pour accélérer la recherche sur SIFT-1M. Sur 600 itérations, le QPS est passé de 3500 à 21 500 (x6). Les stratégies ont évolué : des scans complets à la recherche clusterisée, compression vectorielle (f32 → f16), et un pipeline en deux étapes.

• KernelBench : Accélération de noyaux GPU. Sur 50 tâches de réécriture d'opérations PyTorch en CUDA, GLM-5.1 a délivré un speedup moyen de x3.6. Claude Opus 4.6 a obtenu x4.2. Les deux modèles ont continué à progresser jusqu'à la limite.

• Construction d'un bureau Linux dans le navigateur. Sur 8 heures, le modèle a créé un bureau complet : gestionnaire de fichiers, terminal, éditeur et moniteur. Après chaque étape, il a analysé la sortie et ajusté le plan.

Disponibilité et intégration

Les poids du modèle sont disponibles sur HuggingFace et ModelScope. Le support pour vLLM et SGLang permet une inférence efficace. Pour les développeurs de niveau intermédiaire à senior, cela signifie un déploiement local sans dépendances propriétaires.

Comparaison des performances sur les benchmarks :

| Benchmark | GLM-5.1 | Claude Opus 4.6 | GPT-5.4 | GLM-5 |

|--------------|---------|-----------------|---------|-------|

| SWE-Bench Pro| 58.4% | 57.3% | 57.7% | - |

| NL2Repo | 42.7% | - | - | 35.9% |

| KernelBench (speedup) | x3.6 | x4.2 | - | - |

Ces résultats mettent en évidence son avantage dans les scénarios agentiques avec de nombreuses itérations.

Points clés

• GLM-5.1 montre des progrès soutenus sur les tâches avec 600+ étapes, en changeant de stratégies en fonction des logs.
• La licence MIT et le support vLLM/SGLang simplifient l'intégration dans les pipelines de production.
• Les résultats sur SWE-Bench Pro et NL2Repo le placent en tête des modèles open source pour le codage.
• Les expériences confirment son efficacité en optimisation (base de données Rust, noyaux CUDA) et assemblage autonome de systèmes.
• Idéal pour les frameworks d'agents nécessitant une auto-réflexion.

Applications en développement

Pour les équipes travaillant avec des agents IA, GLM-5.1 fournit un outil pour automatiser les workflows d'ingénierie. En optimisation de base de données, le modèle passe indépendamment des méthodes basiques à des techniques avancées comme la quantification et l'indexation multi-étapes. De même sur KernelBench : focus sur le profilage des goulots d'étranglement avant refactorisation.

Dans le scénario d'assemblage de bureau, il démontre une capacité de raisonnement étatful — suivi du contexte sur des heures de travail, évitant les duplications.

Les développeurs peuvent utiliser le modèle pour :

• Génération et optimisation de code en temps réel.
• Tests d'hypothèses automatisés dans les tâches critiques en performance.
• Boucles d'auto-amélioration en CI/CD avec analyse de métriques.

Améliorations globales dans les expériences : de x3.6 sur les noyaux à x6 en QPS, rendant GLM-5.1 pertinent pour les systèmes à forte charge.

— Editorial Team