14 benchmarks LLM : Analyse et critique

Analyse de 14 benchmarks clés pour les LLM : mécanismes, atouts et limites

Claude Opus 4.5 obtient 80,6 % sur SWE-bench Verified, GPT-5.2 atteint 80,0 % et Gemini 3 Pro 76,2 %. Ces chiffres ne reflètent pas une compétence universelle en programmation : ils mesurent la réussite sur des tâches précises extraites de dépôts Python publics. Une analyse approfondie de 14 benchmarks largement utilisés révèle leurs domaines d’application, leurs méthodologies d’évaluation et leurs angles morts — notamment pour les développeurs intermédiaires ou confirmés qui évaluent ces modèles dans des contextes professionnels réels.

SWE-bench Verified : corriger des bogues dans du code familier

Ce benchmark évalue des corrections mineures de bogues sur 12 projets open source en Python, dont Django. Sur les 2 294 tâches initiales, 500 ont été vérifiées manuellement par des relecteurs humains après que OpenAI eut soulevé des inquiétudes concernant leur ambiguïté.

Procédure d’évaluation :

• Les tests s’exécutent dans un conteneur Docker afin de confirmer la reproductibilité du bogue.
• Les modèles reçoivent l’issue GitHub, le contexte du dépôt et doivent générer un diff en une seule passe.
• Le diff est appliqué ; les tests doivent passer sans casser la suite de tests de référence.

Exemple tiré de Django (ID django__django-16485) :

from decimal import Decimal
from django.template.defaultfilters import floatformat
floatformat('0.00', 0)
floatformat(Decimal('0.00'), 0)

Les deux appels déclenchent ValueError: valid range for prec is [1, MAX_PREC]. La métrique indique le pourcentage de tâches où les tests passent après correction.

Critique : 161 tâches nécessitent seulement 1 à 2 lignes de code ; de nombreux exemples issus des dépôts sont très probablement présents dans les données d’entraînement des modèles. Des alternatives plus robustes incluent SWE-bench Multilingue et le futur SWE-bench Pro (privé).

Terminal-Bench 2.0 : workflows réels dans un terminal Linux

Évalue 89 tâches basées sur le terminal — de la transcription vidéo à la compilation du noyau Linux. Conçu manuellement par l’Institut Laude et Stanford, avec une validation rigoureuse via pytest.

Principales caractéristiques :

• Environnement provisionné via Dockerfile et tmux, dans le cadre du framework Terminus-2.
• Les modèles disposent d’un accès internet — mais les auteurs n’ont pas auditée la fuite potentielle de données.

Exemple : Transcrire la vidéo Zork et exporter les actions du jeu dans /app/solution.txt sous forme de n ou get bag.

Meilleurs résultats : GPT-5.2 (64,9 %), Claude Opus 4.5 (63,1 %). Peu critiqué grâce à sa nouveauté — et particulièrement pertinent pour les équipes DevOps et l’automatisation d’infrastructure.

τ² (tau-bench) : simulation de support client en temps réel

Se concentre sur des scénarios de chat en direct dans le commerce de détail, l’aviation et les télécoms. Sierra Research a conçu des schémas de base de données réalistes et des outils — validés par des experts humains.

Métrique : pass^k — réussite sur k exécutions consécutives (jusqu’à pass^4).

• L’agent et l’utilisateur sont simulés par le même LLM.
• L’accès aux outils comprend la recherche d’utilisateurs, la récupération de réservations, etc.

Exemple dans le domaine aérien : La cliente privilégiée Mei Brown (ID mei_brown_7075) se plaint d’un retard sur le vol HAT045 (PHX→SEA). L’évaluation repose sur l’appel correct à get_user_details et sur le jugement fourni par le LLM.

Critique : Schémas de base de données simplifiés ; failles au niveau des prompts ; OpenAI a exclu entièrement le domaine aérien en raison d’incohérences dans les référentiels véritables.

MCP Atlas : appel d’outils multi-étapes à grande échelle

Benchmark de Scale AI : 1 000 requêtes nécessitant une orchestration coordonnée de plusieurs outils MCP (ex. : Open Library, arXiv). La moitié sont publiques, l’autre moitié privées.

Score : > 75 % des affirmations validées comme vraies (jugées par LLM ; aucun point partiel — 0,5 seulement si entièrement exact).

Exemple : « Quel est le livre le plus ancien sur les volcans — et quand son nom de domaine de couverture a-t-il été enregistré ? »

Critique : Seuil arbitraire de 75 % ; outils lecture-seule uniquement ; questions persistantes sur la neutralité de Scale AI, à la fois créateur et évaluateur.

OSWorld : automatisation GUI via PyAutoGUI

369 tâches sur applications bureautiques (Ubuntu/Windows). 30 % impliquent des workflows multi-applications ; environ 30 sont actuellement insolubles.

Évaluation : Environnement de machine virtuelle avec captures d’écran ; contrôle clavier/souris via PyAutoGUI. Seul l’état final — pas les étapes intermédiaires — est évalué.

Exemple VSCode : Activer le retour à la ligne souple à 50 caractères.

Critique : Les tâches liées à Chrome échouent fréquemment ; certaines solutions contournent totalement l’interface graphique (ex. : utilisation de sed), sapant ainsi l’objectif central.

ARC-AGI : évaluation de l’intelligence fondamentale

Énigmes de raisonnement visuel ancrées dans des connaissances élémentaires (ex. : grilles de pixels). ARC-AGI 2 (2025) propose 1 360 problèmes anti-force-brute conçus pour tester la généralisation — pas la mémorisation.

Leader : GPT-5.2 (54,2 %). Contrairement aux benchmarks centrés sur des compétences spécifiques, ARC-AGI mesure la reconnaissance brute de motifs et la capacité d’abstraction.

| Benchmark | Meilleur modèle | % | Domaine d’application |

|----------|----------------|----|------------------------|

| SWE-bench Verified | Claude Opus 4.5 | 80,6 | Correction de bogues Python |

| Terminal-Bench 2.0 | GPT-5.2 | 64,9 | Shell Linux |

| τ² | GPT-5.2 | 90,4 | Appel d’outils en chat |

| MCP Atlas | Claude Opus 4.5 | 62,3 | Requêtes multi-outils |

| OSWorld | Claude Opus 4.5 | 66,2 | Automatisation GUI |

| ARC-AGI | GPT-5.2 | 54,2 | Raisonnement visuel |

Points clés à retenir

• SWE-bench Verified est obsolète en raison de la contamination par les données d’entraînement — attendez SWE-bench Pro.
• Terminal-Bench 2.0 reproduit le mieux les charges de travail réelles des développeurs impliquant des scripts shell et des interactions système.
• τ² et MCP Atlas illustrent la maturité de l’appel d’outils — mais souffrent de juges LLM et d’environnements trop simplifiés.
• OSWorld et ARC-AGI repoussent les limites : respectivement l’automatisation GUI et le raisonnement fondamental.
• Le choix du benchmark doit correspondre précisément à votre cas d’usage — complétez toujours par des évaluations privées, alignées sur vos besoins opérationnels.

L’article traite également des autres benchmarks restants — notamment GPQA et MMLU-Pro — avec le même niveau de profondeur, en mettant systématiquement l’accent sur les mécanismes d’évaluation pour le déploiement des LLM en ingénierie logicielle industrielle.

— Editorial Team