# Meta-Harness : L'automatisation de l'optimisation des harnesses pour les LLM surpasse l'accordage manuel
Le système Meta-Harness, développé par des experts de Stanford, MIT et KRAFTON, automatise la création de harnesses pour les modèles de langage. Un harness définit le traitement du contexte : extraction de données, structuration et alimentation du modèle. Meta-Harness utilise l'agent de codage Claude Code basé sur Opus 4.6 pour analyser les erreurs et générer des versions de code améliorées. Sur des tâches de classification de texte, la précision a progressé de 7,7 points de pourcentage tout en utilisant 4 fois moins de contexte par rapport aux configurations manuelles. Le code du projet est disponible publiquement.
Accès complet à l'historique d'optimisation
Une fonctionnalité clé de Meta-Harness est de donner à l'agent accès à l'ensemble de l'historique via le système de fichiers. Cela inclut le code source des harnesses précédents, les journaux d'exécution et les traces de raisonnement. Le volume d'informations diagnostiques atteint 10 millions de tokens par itération — 1 000 fois plus que des systèmes comme OpenEvolve et TTT-Discover, limités à 26k tokens.
L'agent sélectionne indépendamment les données pertinentes à l'aide d'outils standards comme grep et cat. Cela permet une analyse approfondie sans compression des retours.
Avantages de l'approche :
- Évolutivité : Gère de gros volumes de données sans perte de détails.
- Autonomie : L'agent décide quels fichiers examiner.
- Auditable : Le code généré est facile à vérifier.
Résultats sur les benchmarks
Les tests ont été conduits sur trois suites de tâches :
- Classification de texte : Meta-Harness a obtenu des résultats en 4 itérations au lieu de 40 pour les concurrents — un gain de vitesse de 10x.
- Problèmes d'olympiades mathématiques (200 tâches de niveau IMO) : La stratégie automatique de récupération d'exemples a boosté la précision de 4,7 pp en moyenne sur cinq modèles non impliqués dans l'optimisation.
- TerminalBench-2 (codage agentique) : Le harness pour Claude Haiku 4.5 a délivré 37,6 % de succès, surpassant Goose (35,5 %) et prenant la tête du classement.
| Benchmark | Accordage manuel | Meta-Harness | Amélioration |
|--------------------|-------------------|--------------|----------------------|
| Classification de texte | Baseline | +7,7 pp | 4x moins de contexte |
| IMO Math | Baseline | +4,7 pp | - |
| TerminalBench-2 | 35,5 % (Goose) | 37,6 % | 1re place |
Transfert et valeur pratique
Les harnesses découverts par Meta-Harness se transfèrent à de nouveaux modèles et tâches. La logique est implémentée en code lisible, simplifiant les audits et les affinages. Le développement est devenu feasible grâce aux avancées des agents de codage début 2026.
Les auteurs soulignent le passage de l'ingénierie manuelle des harnesses à un processus automatisé. Cela réduit la dépendance à l'expertise des ingénieurs et accélère les itérations.
Points clés
- Meta-Harness utilise 10 millions de tokens de diagnostics par itération pour une analyse approfondie.
- Optimisation 10x plus rapide sur les tâches de texte.
- 1re place sur TerminalBench-2 avec 37,6 % de succès.
- Transfert total des harnesses vers d'autres modèles.
- Code open source pour reproduction et extension.
L'approche montre comment la méta-optimisation basée sur des agents avancés transforme le développement d'applications LLM.
— Editorial Team
Aucun commentaire pour le moment.