# Meta-Harness: Automatisierung der Harness-Optimierung für LLMs übertrifft manuelle Abstimmung
Das Meta-Harness-System, entwickelt von Experten von Stanford, MIT und KRAFTON, automatisiert die Erstellung von Harnesses für Sprachmodelle. Ein Harness definiert die Kontextverarbeitung: Datenauszug, Strukturierung und Zuführung zum Modell. Meta-Harness nutzt den Claude Code Coding-Agenten auf Basis von Opus 4.6, um Fehler zu analysieren und verbesserte Codeversionen zu generieren. Bei Textklassifikationsaufgaben stieg die Genauigkeit um 7,7 Prozentpunkte bei gleichzeitig 4-fach weniger Kontext im Vergleich zu manuellen Setups. Der Projektcode ist öffentlich zugänglich.
Voller Zugriff auf die Optimierungs-Historie
Ein zentrales Feature von Meta-Harness ist der Zugriff des Agents auf die gesamte Historie über das Dateisystem. Dies umfasst Quellcode aus vorherigen Harnesses, Ausführungslogs und Reasoning-Traces. Das Volumen der Diagnoseinformationen erreicht 10 Millionen Tokens pro Iteration – 1.000-mal mehr als bei Systemen wie OpenEvolve und TTT-Discover, die auf 26k Tokens beschränkt sind.
Der Agent wählt relevante Daten eigenständig mit Standardtools wie grep und cat aus. Dies ermöglicht tiefe Analysen, ohne das Feedback zu komprimieren.
Vorteile des Ansatzes:
- Skalierbarkeit: Bewältigt große Datenmengen ohne Verlust von Details.
- Autonomie: Der Agent entscheidet selbst, welche Dateien er prüft.
- Nachvollziehbarkeit: Generierter Code lässt sich leicht überprüfen.
Ergebnisse auf Benchmarks
Die Tests wurden auf drei Aufgabensuiten durchgeführt:
- Textklassifikation: Meta-Harness erreichte Ergebnisse in 4 Iterationen statt 40 bei den Konkurrenten – eine 10-fache Beschleunigung.
- Mathematik-Olympiade-Aufgaben (200 IMO-Niveau-Aufgaben): Die automatische Strategie zur Beispielrückgewinnung steigerte die Genauigkeit um durchschnittlich 4,7 Prozentpunkte bei fünf Modellen, die nicht an der Optimierung beteiligt waren.
- TerminalBench-2 (agentisches Coding): Der Harness für Claude Haiku 4.5 erzielte 37,6 % Erfolg und übertraf Goose (35,5 %), was Platz 1 auf der Leaderboard bedeutet.
| Benchmark | Manuelle Abstimmung | Meta-Harness | Verbesserung |
|------------------------|---------------------|--------------|---------------------------|
| Textklassifikation | Basislinie | +7,7 PP | 4-fach weniger Kontext |
| IMO-Mathematik | Basislinie | +4,7 PP | - |
| TerminalBench-2 | 35,5 % (Goose) | 37,6 % | Platz 1 |
Übertragbarkeit und praktischer Nutzen
Die von Meta-Harness entdeckten Harnesses lassen sich auf neue Modelle und Aufgaben übertragen. Die Logik ist in lesbarem Code implementiert, was Audits und Anpassungen vereinfacht. Die Entwicklung wurde durch Fortschritte bei Coding-Agents Anfang 2026 ermöglicht.
Die Autoren betonen den Wechsel von manueller Harness-Entwicklung zu einem automatisierten Prozess. Dies mindert die Abhängigkeit von Ingenieur-Expertise und beschleunigt Iterationen.
Wichtige Erkenntnisse
- Meta-Harness nutzt 10 Millionen Tokens Diagnoseinformationen pro Iteration für tiefe Analysen.
- 10-fache schnellere Optimierung bei Textaufgaben.
- Platz 1 auf TerminalBench-2 mit 37,6 % Erfolg.
- Volle Übertragbarkeit der Harnesses auf andere Modelle.
- Open-Source-Code für Reproduktion und Erweiterung.
Der Ansatz zeigt, wie Meta-Optimierung auf Basis fortschrittlicher Agents die Entwicklung von LLM-Anwendungen verändert.
— Editorial Team
Noch keine Kommentare.