Meta-Harness는 엔지니어들보다 LLM을 더 잘 최적화합니다

# Meta-Harness: LLM 하네스 최적화 자동화가 수동 튜닝을 능가한다

Stanford, MIT, KRAFTON 전문가들이 개발한 Meta-Harness 시스템은 언어 모델을 위한 하네스 생성을 자동화합니다. 하네스는 컨텍스트 처리 방식을 정의합니다: 데이터 추출, 구조화, 모델에 제공하는 과정입니다. Meta-Harness는 Opus 4.6 기반 Claude Code 코딩 에이전트를 사용해 오류를 분석하고 개선된 코드 버전을 생성합니다. 텍스트 분류 작업에서 수동 설정 대비 정확도가 7.7%p.p. 향상되었으며, 컨텍스트를 4배 적게 사용했습니다. 프로젝트 코드는 공개되어 있습니다.

최적화 이력에 대한 완전한 접근

Meta-Harness의 핵심 기능은 에이전트에게 파일 시스템을 통해 전체 이력에 접근할 수 있게 하는 것입니다. 여기에는 이전 하네스의 소스 코드, 실행 로그, 추론 추적이 포함됩니다. 진단 정보의 양은 반복당 1000만 토큰에 달합니다. 이는 OpenEvolve나 TTT-Discover 같은 시스템이 26k 토큰으로 제한된 것의 1,000배에 해당합니다.

에이전트는 grep나 cat 같은 표준 도구를 사용해 관련 데이터를 독립적으로 선택합니다. 이를 통해 피드백을 압축하지 않고도 깊이 있는 분석이 가능합니다.

이 접근 방식의 장점:

• 확장성: 세부 정보를 잃지 않고 대용량 데이터를 처리합니다.
• 자율성: 에이전트가 스스로 검사할 파일을 결정합니다.
• 감사 용이성: 생성된 코드를 쉽게 검증할 수 있습니다.

벤치마크 결과

세 가지 작업 세트에서 테스트를 진행했습니다:

• 텍스트 분류: 경쟁자 대비 40회 반복 대신 4회 반복으로 결과를 달성했습니다. 10배 속도 향상입니다.
• 수학 올림피아드 문제 (200개 IMO 수준 작업): 자동 예제 검색 전략으로 최적화에 참여하지 않은 5개 모델에서 평균 4.7%p.p. 정확도 향상을 달성했습니다.
• TerminalBench-2 (에이전트 코딩): Claude Haiku 4.5용 하네스가 37.6% 성공률을 기록하며 Goose(35.5%)를 제치고 리더보드 1위를 차지했습니다.

| 벤치마크 | 수동 튜닝 | Meta-Harness | 개선 사항 |

|--------------------|-------------------|--------------|----------------------------|

| 텍스트 분류 | 기준 | +7.7 pp | 컨텍스트 4배 적게 |

| IMO 수학 | 기준 | +4.7 pp | - |

| TerminalBench-2 | 35.5% (Goose) | 37.6% | 1위 |

전이성과 실용적 가치

Meta-Harness가 발견한 하네스는 새로운 모델과 작업으로 전이됩니다. 로직이 읽기 쉬운 코드로 구현되어 감사와 개선이 간편합니다. 2026년 초 코딩 에이전트의 발전 덕분에 개발이 가능해졌습니다.

저자들은 수동 하네스 설계에서 자동화된 프로세스로의 전환을 강조합니다. 이는 엔지니어 전문성 의존도를 줄이고 반복 속도를 높입니다.

핵심 사항

• 반복당 1000만 토큰 진단으로 깊이 있는 분석.
• 텍스트 작업 최적화 10배 빠름.
• TerminalBench-2에서 37.6% 성공률로 1위.
• 다른 모델로의 하네스 완전 전이.
• 재현 및 확장을 위한 오픈소스 코드.

이 접근 방식은 고급 에이전트 기반 메타 최적화가 LLM 앱 개발을 어떻게 변화시키고 있는지 보여줍니다.

— Editorial Team