Meta-Harness 比工程师更好地优化 LLM

Meta-Harness：自动化优化大语言模型的 Harness 超越手动调优

斯坦福、MIT 和 KRAFTON 的专家开发的 Meta-Harness 系统，能够自动化为语言模型创建 harness。Harness 定义了上下文处理流程：数据提取、结构化并输入模型。Meta-Harness 使用基于 Opus 4.6 的 Claude Code 编码代理来分析错误并生成改进的代码版本。在文本分类任务上，准确率提高了 7.7 个百分点，同时上下文使用量仅为手动设置的四分之一。项目代码已公开。

完整优化历史访问

Meta-Harness 的一个关键特性是让代理通过文件系统访问整个历史记录。这包括先前 harness 的源代码、执行日志和推理轨迹。每次迭代的诊断信息量高达 1000 万个 token——是 OpenEvolve 和 TTT-Discover 等系统的 1000 倍，后者仅限于 26k token。

代理使用 grep 和 cat 等标准工具自主选择相关数据，从而实现深度分析而无需压缩反馈。

该方法的优势：

• 可扩展性：处理海量数据而不丢失细节。
• 自主性：代理自行决定检查哪些文件。
• 可审计性：生成的代码易于验证。

基准测试结果

测试在三个任务套件上进行：

• 文本分类：Meta-Harness 在 4 次迭代中取得成果，而竞争对手需要 40 次——提速 10 倍。
• 数学奥林匹克问题（200 个 IMO 级别任务）：自动示例检索策略使五种未参与优化的模型平均准确率提升 4.7 个百分点。
• TerminalBench-2（代理编码）：Claude Haiku 4.5 的 harness 成功率达 37.6%，超越 Goose（35.5%），登顶排行榜。

| Benchmark | Manual Tuning | Meta-Harness | Improvement |

|--------------------|-------------------|--------------|----------------------|

| Text Classification| Baseline | +7.7 pp | 4x less context |

| IMO Math | Baseline | +4.7 pp | - |

| TerminalBench-2 | 35.5% (Goose) | 37.6% | 1st place |

可迁移性和实用价值

Meta-Harness 发现的 harness 可迁移到新模型和新任务。其逻辑以可读代码实现，便于审计和优化。多亏 2026 年初编码代理的进步，该开发才成为可能。

作者强调，从手动 harness 工程转向自动化流程。这减少了对工程师专业知识的依赖，并加速迭代。

关键要点

• Meta-Harness 每次迭代使用 1000 万 token 诊断信息进行深度分析。
• 文本任务优化速度提升 10 倍。
• TerminalBench-2 排名第一，成功率 37.6%。
• Harness 完全可迁移到其他模型。
• 开源代码，便于复现和扩展。

该方法展示了基于先进代理的元优化如何改变大语言模型应用开发。

— Editorial Team