Análisis de 14 benchmarks clave para modelos de lenguaje: cómo funcionan, sus fortalezas y limitaciones
Claude Opus 4.5 obtiene un 80,6 % en SWE-bench Verified, GPT-5.2 alcanza el 80,0 % y Gemini 3 Pro llega al 76,2 %. Estos valores no reflejan una capacidad universal de programación: miden el éxito en tareas concretas extraídas de repositorios públicos de Python. Un análisis profundo de 14 benchmarks ampliamente utilizados revela sus áreas de enfoque, metodologías de evaluación y puntos ciegos —especialmente relevantes para desarrolladores intermedios y senior que evalúan modelos para uso real.
SWE-bench Verified: corrección de errores en código conocido
Este benchmark evalúa correcciones menores de errores en 12 proyectos de Python de código abierto, incluido Django. De las 2.294 tareas originales, 500 fueron verificadas manualmente por revisores humanos tras las preocupaciones planteadas por OpenAI sobre ambigüedades.
Proceso de evaluación:
- Las pruebas se ejecutan dentro de contenedores Docker para confirmar que el error es reproducible.
- Los modelos reciben el informe de GitHub, el contexto del repositorio y deben generar un diff en una sola pasada.
- El diff se aplica y las pruebas deben pasar sin romper la suite de pruebas base.
Ejemplo de Django (ID django__django-16485):
from decimal import Decimal
from django.template.defaultfilters import floatformat
floatformat('0.00', 0)
floatformat(Decimal('0.00'), 0)Ambas llamadas generan ValueError: valid range for prec is [1, MAX_PREC]. La métrica reporta el porcentaje de tareas en las que las pruebas pasan tras la corrección.
Crítica: 161 tareas requieren solo 1–2 líneas de código; muchos ejemplos de los repositorios probablemente forman parte de los datos de entrenamiento del modelo. Alternativas más robustas incluyen SWE-bench Multilingual y el próximo SWE-bench Pro privado.
Terminal-Bench 2.0: flujos reales en terminal Linux
Evalúa 89 tareas basadas en terminal —desde transcripción de vídeos hasta compilación del kernel de Linux—. Fue construido manualmente por el Instituto Laude y Stanford, con validación rigurosa mediante pytest.
Características clave:
- El entorno se configura mediante Dockerfile y tmux usando el marco Terminus-2.
- Los modelos tienen acceso a internet, pero los autores no auditaron posibles fugas involuntarias de datos.
Ejemplo: Transcribe el vídeo de Zork y guarda las acciones del juego en /app/solution.txt como n o get bag.
Líderes: GPT-5.2 (64,9 %), Claude Opus 4.5 (63,1 %). Las críticas son mínimas gracias a su novedad —y resulta altamente relevante para DevOps y automatización de infraestructura.
τ² (tau-bench): simulación de soporte al cliente en tiempo real
Se centra en escenarios de chat en vivo en sectores como retail, aviación y telecomunicaciones. Sierra Research generó esquemas de bases de datos y herramientas realistas —validados por expertos humanos.
Métrica: pass^k — Éxito en k ejecuciones consecutivas (hasta pass^4).
- Tanto el agente como el usuario son simulados por el mismo modelo de lenguaje.
- El acceso a herramientas incluye búsqueda de usuarios, recuperación de reservas, etc.
Ejemplo en aviación: La cliente premium Mei Brown (ID mei_brown_7075) se queja del retraso HAT045 PHX→SEA. La evaluación depende de invocar correctamente get_user_details y del juicio realizado por el modelo.
Crítica: Esquemas de base de datos simplificados; vulnerabilidades a nivel de prompt; OpenAI excluyó por completo el dominio aéreo debido a inconsistencias en los datos de referencia.
MCP Atlas: llamadas a múltiples herramientas en escala
Benchmark de Scale AI: 1.000 consultas que requieren coordinar varias herramientas MCP (por ejemplo, Open Library y arXiv). La mitad son públicas y la otra mitad privadas.
Puntuación: Más del 75 % de las afirmaciones validadas como verdaderas (juzgadas por un modelo LLM; crédito parcial = 0,5).
Ejemplo: «¿Cuál es el libro más antiguo sobre volcanes —y cuándo se registró su dominio de portada?»
Crítica: Umbral arbitrario del 75 %; herramientas de solo lectura únicamente; persisten dudas sobre la neutralidad de Scale AI al ser tanto creadora como evaluadora.
OSWorld: automatización de interfaces gráficas con PyAutoGUI
369 tareas en aplicaciones de escritorio (Ubuntu/Windows). El 30 % implica flujos entre múltiples aplicaciones; unas 30 son actualmente irresolubles.
Evaluación: Entorno de máquina virtual con capturas de pantalla; control de teclado y ratón mediante PyAutoGUI. Se valora el estado final —no los pasos intermedios.
Ejemplo en VSCode: Habilitar el ajuste automático de líneas a 50 caracteres.
Crítica: Las tareas relacionadas con Chrome fallan con frecuencia; algunas soluciones evitan por completo la interfaz gráfica (p. ej., usando sed), socavando el objetivo central.
ARC-AGI: evaluación de inteligencia fundamental
Acertijos de razonamiento visual basados en conocimientos básicos (p. ej., rejillas de píxeles). ARC-AGI 2 (2025) incluye 1.360 problemas anti-fuerza bruta diseñados para evaluar la generalización —no la memorización.
Líder: GPT-5.2 (54,2 %). A diferencia de los benchmarks centrados en habilidades, ARC-AGI mide el reconocimiento de patrones y la abstracción en estado puro.
| Benchmark | Modelo líder | % | Enfoque |
|----------|--------------|----|---------|
| SWE-bench Verified | Claude Opus 4.5 | 80,6 | Corrección de errores en Python |
| Terminal-Bench 2.0 | GPT-5.2 | 64,9 | Shell Linux |
| τ² | GPT-5.2 | 90,4 | Llamadas a herramientas en chat |
| MCP Atlas | Claude Opus 4.5 | 62,3 | Consultas con múltiples herramientas |
| OSWorld | Claude Opus 4.5 | 66,2 | Automatización de GUI |
| ARC-AGI | GPT-5.2 | 54,2 | Razonamiento visual |
Conclusiones clave
- SWE-bench Verified está obsoleto por contaminación de datos de entrenamiento —espere a SWE-bench Pro.
- Terminal-Bench 2.0 refleja mejor las cargas de trabajo reales de los desarrolladores que implican scripting en shell e interacción con sistemas.
- τ² y MCP Atlas destacan la madurez en llamadas a herramientas —pero sufren por depender de jueces LLM y entornos excesivamente simplificados.
- OSWorld y ARC-AGI expanden los límites: automatización de interfaces gráficas y razonamiento fundamental, respectivamente.
- La elección del benchmark debe alinearse con su caso de uso —siempre compleméntela con evaluaciones privadas y relevantes para producción.
El artículo analiza también los demás benchmarks —incluidos GPQA y MMLU-Pro— con el mismo nivel de profundidad, centrándose exclusivamente en la mecánica de evaluación para desplegar modelos de lenguaje en ingeniería de software productiva.
— Editorial Team
Aún no hay comentarios.