Benchmark ARC-AGI-3: IA al 0.26% vs 100% humanos

ARC-AGI-3: Benchmark interactivo para evaluar la inteligencia agentiva

ARC Prize Foundation ha lanzado ARC-AGI-3 —la tercera versión del benchmark para medir la inteligencia general de IA—. A diferencia de las tareas estáticas en iteraciones anteriores, cuenta con 135 entornos interactivos de tamaño 64×64. El agente interactúa con el entorno paso a paso, sin pistas: explora, construye un modelo del mundo, establece objetivos y planifica acciones. La métrica RHAE evalúa no solo la solución, sino también la eficiencia —mediante una fórmula cuadrática en la que las acciones excesivas penalizan fuertemente la puntuación—. Por ejemplo, si un humano necesita 10 pasos pero la IA toma 100, el resultado es solo del 1 %.

La calibración se realizó con 486 personas en San Francisco: solo se incluyen entornos que al menos dos de cada diez resuelven completamente en el primer intento. Los humanos logran un 100 % de éxito, con un tiempo medio de 7,4 minutos.

Resultados de los mejores modelos

En un conjunto de datos semiprivado, los LLMs líderes muestran resultados mínimos sin herramientas:

• Gemini 3.1 Pro Preview: 0,37 %
• GPT-5.4 (High): 0,26 %
• Opus 4.6 (Max): 0,25 %
• Grok-4.20: 0,00 %

Estos modelos reciben un solo prompt: «Estás jugando un juego. Tu objetivo es ganar». El leaderboard excluye los «harnesses» —programas externos para resolver tareas— para mantener el enfoque en la inteligencia pura del agente.

Por qué alejarse de las tareas estáticas

Versiones anteriores de ARC-AGI han sido comprometidas: modelos como Gemini 3 demuestran conocimiento de mapeos de números a colores del benchmark, aunque no se menciona en el prompt. Los datos se filtraron en los conjuntos de entrenamiento. El formato interactivo lo soluciona al requerir exploración y adaptación en tiempo real.

El benchmark evalúa cuatro componentes clave:

• Exploración: estudio independiente del entorno.
• Construcción de modelo del mundo: comprensión de las mecánicas sin instrucciones.
• Establecimiento de objetivos: determinación de metas basadas en observaciones.
• Planificación: optimización de secuencias de acciones.

Harnesses vs inteligencia pura

Se proporciona una pista comunitaria separada para harnesses. Ejemplo: Opus 4.6 con el harness Duke resuelve un entorno al 97,1 %, pero falla otro al 0 %. Esto muestra una falta de generalización —la métrica mide ingeniería, no AGI—. François Chollet, autor del benchmark y creador de Keras, enfatiza: la verdadera AGI lo maneja sin muletas externas, como un humano en una situación desconocida.

Las condiciones para humanos en el centro de pruebas son similares: sin instrucciones.

Lecciones clave

• ARC-AGI-3 se centra en capacidades agentivas, no en reconocimiento de patrones.
• La métrica RHAE penaliza cuadráticamente la ineficiencia, enfatizando la optimización.
• Los mejores modelos puntúan por debajo del 0,4 % sin harnesses; humanos —100 %.
• Contaminación de datos en versiones pasadas confirmada por ejemplos de prompts.
• Pista separada para harnesses permite a la comunidad experimentar.

El informe técnico está disponible para análisis, destacando la necesidad de nuevos enfoques para la evaluación de IA.

— Editorial Team