Meta-Harness optymalizuje LLM lepiej niż inżynierowie

# Meta-Harness: automatyzacja optymalizacji harnessów dla LLM przewyższa ręczne strojenie

System Meta-Harness, opracowany przez specjalistów ze Stanfordu, MIT i KRAFTON, automatyzuje tworzenie harnessów dla modeli językowych. Harness określa przetwarzanie kontekstu: wyodrębnianie danych, ich strukturę i sposób przekazywania modelowi. Meta-Harness wykorzystuje agenta kodującego Claude Code opartego na Opus 4.6 do analizy błędów i generowania ulepszonych wersji kodu. W zadaniach klasyfikacji tekstów dokładność wzrosła o 7,7 p.p. przy użyciu 4 razy mniejszego kontekstu w porównaniu z ręcznymi ustawieniami. Kod projektu jest dostępny otwarcie.

Pełny dostęp do historii optymalizacji

Kluczową cechą Meta-Harness jest zapewnienie agentowi dostępu do całej historii za pośrednictwem systemu plików. Obejmuje to kod źródłowy poprzednich harnessów, logi wykonania i ślady rozumowania. Wolumen informacji diagnostycznych osiąga 10 mln tokenów na iterację — 1000 razy więcej niż w systemach OpenEvolve i TTT-Discover, ograniczonych do 26 tys. tokenów.

Agent samodzielnie wybiera istotne dane za pomocą standardowych narzędzi: grep, cat. Pozwala to na głęboką analizę bez kompresji informacji zwrotnej.

Zalety podejścia:

• Skalowalność: przetwarzanie dużych wolumenów danych bez utraty szczegółów.
• Autonomia: agent decyduje, które pliki przeglądać.
• Audytowalność: generowany kod można zweryfikować.

Wyniki na benchmarkach

Testy przeprowadzono na trzech zestawach zadań:

• Klasyfikacja tekstów: Meta-Harness osiągnęła wynik po 4 iteracjach zamiast 40 u konkurentów — przyspieszenie 10-krotne.
• Zadania matematyczne z olimpiad (200 zadań na poziomie IMO): Automatyczna strategia wyszukiwania przykładów zwiększyła dokładność o 4,7 p.p. średnio dla pięciu modeli, które nie brały udziału w optymalizacji.
• TerminalBench-2 (kodowanie agentowe): Harness dla Claude Haiku 4.5 dał 37,6% sukcesu, wyprzedzając Goose (35,5%) i zajmując pierwsze miejsce w rankingu.

| Benchmark | Ręczna konfiguracja | Meta-Harness | Poprawa |

|--------------------|---------------------|--------------|---------------------|

| Klasyfikacja tekstu | Bazowa | +7,7 p.p. | 4x mniejszy kontekst |

| Matematyka IMO | Bazowa | +4,7 p.p. | - |

| TerminalBench-2 | 35,5% (Goose) | 37,6% | 1. miejsce |

Przenośność i praktyczna wartość

Harnessy znalezione przez Meta-Harness przenoszą się na nowe modele i zadania. Logika jest zaimplementowana w czytelnym kodzie, co ułatwia audyt i modyfikacje. Rozwój stał się możliwy dzięki postępom agentów kodujących na początku 2026 roku.

Autorzy podkreślają przejście od ręcznego harness engineeringu do zautomatyzowanego procesu. Zmniejsza to zależność od ekspertyzy inżynierów i przyspiesza iteracje.

Co ważne

• Meta-Harness wykorzystuje 10 mln tokenów diagnostyki na iterację do głębokiej analizy.
• Przyspieszenie optymalizacji 10-krotne w zadaniach tekstowych.
• Pierwsze miejsce na TerminalBench-2 z 37,6% sukcesu.
• Pełna przenośność harnessów na inne modele.
• Otwarty kod do reprodukcji i rozszerzenia.

Podejście pokazuje, jak meta-optymalizacja oparta na zaawansowanych agentach zmienia rozwój aplikacji LLM.

— Editorial Team