Taxonomie AGI DeepMind : 10 Capacités Cognitives

DeepMind redéfinit la mesure de l’IA : une taxonomie cognitive plutôt que des benchmarks

DeepMind a non seulement introduit un nouveau test sur la voie de l’AGI, mais a également proposé un changement fondamental dans le paradigme d’évaluation de l’intelligence artificielle. Au lieu d’un score unique ou d’une moyenne obtenue sur MMLU, l’équipe propose une taxonomie cognitive à dix dimensions, basée sur des capacités cognitives humaines validées empiriquement. Il ne s’agit pas d’un outil destiné à des allégations marketing, mais d’un protocole technique à l’intention des développeurs et des chercheurs de niveau intermédiaire et senior, leur permettant de diagnostiquer les faiblesses systémiques des modèles — même lorsque leur percentile global semble impressionnant.

Pourquoi les benchmarks actuels ne fonctionnent pas pour l’AGI

Les ensembles de données de benchmark existants (MMLU, HumanEval, GPQA) souffrent de deux défauts critiques qui les rendent inadaptés à la mesure des progrès vers l’AGI :

• Contamination des données d’entraînement — les modèles rencontrent à plusieurs reprises les réponses à ces tests avant même l’inférence. Le résultat est un score élevé attribué à la mémorisation plutôt qu’à la compréhension. Le modèle résout « quoi », mais pas « pourquoi » ni « comment s’adapter à des conditions modifiées ».
• Absence de distinction entre le modèle et le système — lorsqu’on teste ChatGPT ou Claude, on évalue non seulement le modèle linguistique, mais aussi les composants externes : prompts du système, interpréteurs de code, recherche sur le web et raisonnement par chaîne de pensée (CoT). Les benchmarks actuels ne distinguent pas où s’arrête le modèle et où commence son environnement.

Cela conduit à une fausse confiance : un système peut obtenir 89 % à MATH tout en échouant à une tâche élémentaire comme changer de stratégie dans une planification multi-étapes — car les fonctions exécutives ne sont pas testées séparément.

Dix capacités cognitives : de la perception à la cognition sociale

La taxonomie divise l’intelligence générale en dix capacités mutuellement indépendantes. Huit sont fondamentales, tandis que deux sont composites (elles ne peuvent pas être réduites à la somme des capacités de base).

Capacités fondamentales :

• Perception — traitement des signaux sensoriels. Pour les LLM, il ne s’agit pas de vision, mais de tokenisation comme canal alternatif d’accès au langage. La distinction est cruciale : les humains voient un objet, tandis que les modèles reçoivent sa description.
• Génération — production de sorties (texte, code, actions) et raisonnement interne. Le CoT ici n’est pas un hack, mais une manifestation de la capacité générative, distincte de la déduction logique.
• Attention — gestion de la concentration dans des contextes dynamiques. Il ne s’agit pas du mécanisme d’attention des transformers, mais d’une capacité cognitive à équilibrer la concentration avec la sensibilité aux nouveaux stimuli.
• Apprentissage — changement comportemental durable grâce à l’expérience. L’apprentissage en contexte ne compte pas comme apprentissage dans ce sens : les connaissances ne sont pas conservées en dehors de la session.
• Mémoire — quatre types : déclarative (faits), épisodique (événements), procédurale (compétences) et prospective (intentions). L’oubli est inclus comme une fonction utile — les modèles modernes ne peuvent pas supprimer sélectivement les paramètres obsolètes.
• Raisonnement — déduction, induction, abduction, analogie et pensée mathématique. La correspondance automatique de motifs est exclue : deviner en se basant sur des indices formels n’est pas du raisonnement.
• Métacognition — surveillance de sa propre confiance, détection des erreurs et correction des stratégies. Le principal fossé entre les humains et l’IA : les modèles ne savent pas ce qu’ils ne savent pas.
• Fonctions exécutives — fixation d’objectifs, planification, contrôle des impulsions, flexibilité cognitive et mémoire de travail. C’est là que les agents tombent le plus souvent en panne lorsqu’ils passent d’une sous-tâche à une autre.

Capacités composites :

• Résolution de problèmes — orchestration de la perception, du raisonnement, de la planification et de l’apprentissage. Une défaillance dans n’importe quelle capacité de base entraîne une cascade qui compromet la solution.
• Cognition sociale — modélisation des croyances et des intentions des autres, coopération, négociation, persuasion et même tromperie. La tromperie est incluse non pas comme une menace éthique, mais comme un marqueur diagnostique de la profondeur de la compréhension sociale.

Protocole de mesure : trois étapes et un graphique radar

La classification sans mesure n’est qu’une abstraction académique. DeepMind propose un protocole en trois étapes :

• Test isolé de chaque capacité — les tâches sont strictement unidimensionnelles et ne mélangent pas les compétences. Les banques de tâches sont fermées et font l’objet d’un audit indépendant. Les formats vont du choix multiple aux scénarios multimodaux avec des délais.
• Échantillon de contrôle humain — le même ensemble de tâches, les mêmes instructions et le même accès aux outils. Pas d’avantages pour l’IA : si le modèle utilise la recherche, les humains ont aussi une interface web.
• Comparaison des percentiles — pour chacun des dix axes, il calcule quel pourcentage d’humains le modèle surpasse. Le résultat est un graphique radar (profil dentelé), et non un score unique.

Cela permet d’identifier des déséquilibres critiques : par exemple, un percentile de 95 % en raisonnement et de 20 % en métacognition. Un tel modèle est dangereux dans des scénarios à haut risque — il commettra des erreurs systématiques.

Ce qui compte

• La taxonomie ne remplace pas les benchmarks — elle exige qu’ils soient restructurés : chaque test doit être clairement lié à une seule capacité, sans « contamination croisée ».
• Un profil dentelé n’est pas un défaut, mais une caractéristique objective. L’AGI doit faire preuve d’équilibre sur les dix axes, et non de pics dans des domaines individuels.
• L’absence d’outils standard pour l’apprentissage, la métacognition, l’attention, les fonctions exécutives et la cognition sociale n’est pas un retard technique, mais un vide méthodologique dans l’industrie.
• La mesure doit être relative : pas « combien de tâches ont été résolues », mais « le modèle est-il meilleur que X % des personnes dans des conditions identiques ? »
• La mise en œuvre réussie du protocole nécessite de revoir les architectures : par exemple, les mécanismes de mémoire à long terme et d’oubli devraient devenir des composants de première classe, et non des plugins externes.

Cinq « lacunes » dans les diagnostics modernes de l’IA

DeepMind identifie clairement les domaines où les outils de mesure fiables font défaut :

• Apprentissage — comment distinguer l’acquisition de nouvelles connaissances de la reproduction d’un schéma appris ? Il faut un test de transfert : apprentissage dans un domaine → application dans un autre, sans re-fine-tuning.
• Métacognition — il existe des études sur l’étalonnage de la confiance, mais elles ne sont ni standardisées ni évolutives. Il faut des tâches où le modèle évalue explicitement sa probabilité d’avoir raison avant de répondre.
• Attention — les tests actuels (par exemple, « une aiguille dans une botte de foin ») sont trop simplistes. Il faut des évaluations de la résilience face aux distractions dynamiques dans de longs dialogues aux objectifs changeants.
• Fonctions exécutives — il n’existe aucun benchmark pour la flexibilité cognitive. Par exemple, un système devrait passer de la résolution algorithmique à des approches heuristiques lorsque les contraintes changent en temps réel.
• Cognition sociale — les tests existants de théorie de l’esprit (ToM) ne différencient pas les modèles avancés. Il faut des scénarios impliquant des négociations multi-utilisateurs, des intentions cachées et des signaux contradictoires.

Le protocole de DeepMind ne rend pas les modèles plus intelligents. Il les rend mesurables. Pour les développeurs, cela signifie passer de « nous avons 87 % à MMLU » à « nous sommes au 62e percentile en métacognition — il faut refondre le module de maîtrise de soi ». Ce n’est pas de la publicité ; c’est une spécification technique.

— Editorial Team