Meta-Harness optimalizuje LLM lépe než inženýři

# Meta-Harness: automatizace optimalizace harnessů pro LLM překonává ruční nastavení

Systém Meta-Harness, vyvinutý specialisty ze Stanfordu, MIT a KRAFTON, automatizuje vytváření harnessů pro jazykové modely. Harness definuje zpracování kontextu: extrakci dat, jejich strukturu a podání modelu. Meta-Harness využívá kódovacího agenta Claude Code na bázi Opus 4.6 k analýze chyb a generování vylepšených verzí kódu. Na úkolech klasifikace textů vzrostla přesnost o 7,7 p. b. při použití 4násobně menšího kontextu ve srovnání s ručními nastaveními. Kód projektu je volně dostupný.

Plný přístup k historii optimalizací

Klíčovou vlastností Meta-Harness je poskytnutí agentovi přístupu k celé historii prostřednictvím souborového systému. To zahrnuje zdrojový kód předchozích harnessů, logy provedení a trasování uvažování. Objem diagnostických informací dosahuje 10 milionů tokenů na iteraci – 1000násobně více než u systémů OpenEvolve a TTT-Discover, které jsou omezeny na 26 tisíc tokenů.

Agent sám vybírá relevantní data pomocí standardních nástrojů: grep, cat. To umožňuje hlubokou analýzu bez komprese zpětné vazby.

Výhody přístupu:

• Škálovatelnost: zpracování velkých objemů dat bez ztráty detailů.
• Autonomie: agent rozhoduje, které soubory prozkoumat.
• Auditovatelnost: generovaný kód lze ověřit.

Výsledky na benchmarkách

Testování probíhalo na třech sadách úkolů:

• Klasifikace textů: Meta-Harness dosáhla výsledku za 4 iterace místo 40 u konkurentů – zrychlení 10násobné.
• Matematické olympijádové úlohy (200 úloh na úrovni IMO): Automatická strategie hledání příkladů zvýšila přesnost o 4,7 p. b. v průměru u pěti modelů, které se optimalizace neúčastnily.
• TerminalBench-2 (agentické kódování): Harness pro Claude Haiku 4.5 dosáhl 37,6% úspěšnosti, překonal Goose (35,5 %) a vedl žebříček.

| Benchmark | Ruční nastavení | Meta-Harness | Zlepšení |

|-----------|-----------------|--------------|----------|

| Textová klasifikace | Základní | +7,7 p. b. | 4x menší kontext |

| IMO-matematika | Základní | +4,7 p. b. | - |

| TerminalBench-2 | 35,5 % (Goose) | 37,6 % | 1. místo |

Přenositelnost a praktická hodnota

Harnessy nalezené Meta-Harness se dají přenést na nové modely a úlohy. Logika je implementována v čitelném kódu, což usnadňuje audit a úpravy. Vývoj se stal možným díky pokroku kódovacích agentů na počátku roku 2026.

Autoři zdůrazňují přechod od ručního harness engineeringu k automatizovanému procesu. To snižuje závislost na expertize inženýrů a zrychluje iterace.

Co je důležité

• Meta-Harness využívá 10 milionů tokenů diagnostiky na iteraci pro hlubokou analýzu.
• Zrychlení optimalizace 10násobné na textových úlohách.
• První místo na TerminalBench-2 s 37,6% úspěšností.
• Plná přenositelnost harnessů na jiné modely.
• Otevřený kód pro reprodukci a rozšíření.

Přístup demonstruje, jak meta-optimalizace na bázi pokročilých agentů mění vývoj aplikací pro LLM.

— Editorial Team