# Meta-Harness: Automatizar la optimización de harness para LLMs supera el ajuste manual
El sistema Meta-Harness, desarrollado por expertos de Stanford, MIT y KRAFTON, automatiza la creación de harnesses para modelos de lenguaje. Un harness define el procesamiento de contexto: extracción de datos, estructuración y alimentación al modelo. Meta-Harness utiliza el agente de codificación Claude Code basado en Opus 4.6 para analizar errores y generar versiones mejoradas del código. En tareas de clasificación de texto, la precisión mejoró en 7,7 puntos porcentuales mientras usaba 4 veces menos contexto en comparación con configuraciones manuales. El código del proyecto está disponible públicamente.
Acceso completo al historial de optimización
Una característica clave de Meta-Harness es otorgar al agente acceso al historial completo a través del sistema de archivos. Esto incluye el código fuente de harnesses anteriores, registros de ejecución y trazas de razonamiento. El volumen de información diagnóstica alcanza los 10 millones de tokens por iteración, 1000 veces más que sistemas como OpenEvolve y TTT-Discover, que están limitados a 26k tokens.
El agente selecciona de forma independiente los datos relevantes usando herramientas estándar como grep y cat. Esto permite un análisis profundo sin comprimir la retroalimentación.
Ventajas del enfoque:
- Escalabilidad: Maneja grandes volúmenes de datos sin perder detalles.
- Autonomía: El agente decide qué archivos examinar.
- Auditabilidad: El código generado es fácil de verificar.
Resultados en benchmarks
Las pruebas se realizaron en tres suites de tareas:
- Clasificación de texto: Meta-Harness logró resultados en 4 iteraciones en lugar de 40 para los competidores, un aumento de velocidad 10 veces mayor.
- Problemas de Olimpiada de Matemáticas (200 tareas de nivel IMO): La estrategia automática de recuperación de ejemplos impulsó la precisión en 4,7 p.p. en promedio en cinco modelos no involucrados en la optimización.
- TerminalBench-2 (codificación agentic): El harness para Claude Haiku 4.5 obtuvo un 37,6 % de éxito, superando a Goose (35,5 %) y liderando la tabla.
| Benchmark | Ajuste manual | Meta-Harness | Mejora |
|--------------------|-------------------|--------------|---------------------|
| Clasificación de texto | Baseline | +7,7 p.p. | 4x menos contexto |
| IMO Math | Baseline | +4,7 p.p. | - |
| TerminalBench-2 | 35,5 % (Goose) | 37,6 % | 1er lugar |
Transferibilidad y valor práctico
Los harnesses descubiertos por Meta-Harness se transfieren a nuevos modelos y tareas. La lógica se implementa en código legible, simplificando auditorías y refinamientos. El desarrollo se hizo posible gracias a los avances en agentes de codificación a principios de 2026.
Los autores destacan el cambio de la ingeniería manual de harnesses a un proceso automatizado. Esto reduce la dependencia de la experiencia de los ingenieros y acelera las iteraciones.
Lecciones clave
- Meta-Harness usa 10 millones de tokens de diagnósticos por iteración para un análisis profundo.
- Optimización 10 veces más rápida en tareas de texto.
- Primer lugar en TerminalBench-2 con 37,6 % de éxito.
- Transferibilidad completa de harnesses a otros modelos.
- Código open-source para reproducción y extensión.
El enfoque muestra cómo la meta-optimización basada en agentes avanzados está transformando el desarrollo de aplicaciones de LLM.
— Editorial Team
Aún no hay comentarios.