Benchmark ARC-AGI-3 : IA à 0,26 % contre 100 % humains

# ARC-AGI-3 : Benchmark interactif pour évaluer l'intelligence agentique

La ARC Prize Foundation a publié ARC-AGI-3 — la troisième version du benchmark pour mesurer l'intelligence IA générale. Contrairement aux tâches statiques des itérations précédentes, il propose 135 environnements interactifs de taille 64×64. L'agent interagit avec l'environnement étape par étape, sans indices : il explore, construit un modèle du monde, définit des objectifs et planifie des actions. La métrique RHAE évalue non seulement la solution mais aussi l'efficacité — en utilisant une formule quadratique où les actions excessives pénalisent lourdement le score. Par exemple, si un humain a besoin de 10 étapes mais que l'IA en prend 100, le résultat n'est que de 1 %.

La calibration a été réalisée avec 486 personnes à San Francisco : les environnements ne sont inclus que s'ils sont résolus complètement par au moins deux personnes sur dix dès la première tentative. Les humains obtiennent 100 % de réussite, avec un temps médian de 7,4 minutes.

Résultats des meilleurs modèles

Sur un jeu de données semi-privé, les principaux LLM affichent des résultats minimes sans outils :

• Gemini 3.1 Pro Preview : 0,37 %
• GPT-5.4 (High) : 0,26 %
• Opus 4.6 (Max) : 0,25 %
• Grok-4.20 : 0,00 %

Ces modèles reçoivent une seule invite : « Tu joues à un jeu. Ton objectif est de gagner. » Le classement exclut les « harnesses » — programmes externes pour résoudre les tâches — afin de se concentrer sur l'intelligence pure de l'agent.

Pourquoi s'éloigner des tâches statiques

Les versions précédentes d'ARC-AGI ont été compromises : des modèles comme Gemini 3 démontrent une connaissance des mappings nombre-couleur du benchmark, même si cela n'est pas mentionné dans l'invite. Les données ont fuité dans les jeux d'entraînement. Le format interactif résout cela en exigeant une exploration et une adaptation en ligne.

Le benchmark évalue quatre composantes clés :

• Exploration : étude indépendante de l'environnement.
• Construction du modèle du monde : compréhension des mécaniques sans instructions.
• Définition d'objectifs : détermination des buts à partir des observations.
• Planification : optimisation des séquences d'actions.

Harnesses contre intelligence pure

Un track communautaire séparé est prévu pour les harnesses. Exemple : Opus 4.6 avec le harness Duke résout un environnement à 97,1 %, mais échoue sur un autre à 0 %. Cela montre un manque de généralisation — la métrique mesure l'ingénierie, pas l'AGI. François Chollet, auteur du benchmark et créateur de Keras, insiste : une vraie AGI s'en sort sans béquilles externes, comme un humain dans une situation inconnue.

Les conditions pour les humains au centre de test sont similaires : pas d'instructions.

Enseignements clés

• ARC-AGI-3 met l'accent sur les capacités agentiques, pas sur la reconnaissance de motifs.
• La métrique RHAE pénalise quadratiquement l'inefficacité, en insistant sur l'optimisation.
• Les meilleurs modèles scorent sous 0,4 % sans harnesses ; les humains — 100 %.
• Contamination des données dans les versions passées confirmée par des exemples d'invite.
• Track séparé pour les harnesses permet à la communauté d'expérimenter.

Le rapport technique est disponible pour analyse, soulignant le besoin de nouvelles approches pour l'évaluation de l'IA.

— Editorial Team