Taxonomía AGI de DeepMind: 10 Habilidades Cognitivas

DeepMind redefine la medición de la IA: una taxonomía cognitiva en lugar de benchmarks

DeepMind ha presentado no solo una nueva prueba en el camino hacia la AGI, sino que ha propuesto un cambio fundamental en el paradigma para evaluar la inteligencia artificial. En lugar de una puntuación única o un resultado promedio en MMLU, el equipo ofrece una taxonomía cognitiva de diez dimensiones basada en capacidades cognitivas humanas validadas empíricamente. Esta no es una herramienta para afirmaciones de marketing, sino un protocolo técnico dirigido a desarrolladores y investigadores de nivel medio y senior, que les permite diagnosticar debilidades sistémicas en los modelos, incluso cuando su percentil general parece impresionante.

Por qué los benchmarks actuales no funcionan para la AGI

Los conjuntos de datos de benchmark existentes (MMLU, HumanEval, GPQA) adolecen de dos fallas críticas que los hacen inadecuados para medir el progreso hacia la AGI:

• Contaminación de los datos de entrenamiento—los modelos se encuentran repetidamente con las respuestas a estas pruebas incluso antes de la inferencia. El resultado es una puntuación alta por memorización en lugar de comprensión. El modelo resuelve “qué”, pero no “por qué” ni “cómo adaptarse a condiciones cambiantes”.
• Falta de separación entre el modelo y el sistema—al probar ChatGPT o Claude, evaluamos no solo el modelo de lenguaje, sino también componentes externos: prompts del sistema, intérpretes de código, búsqueda web y razonamiento en cadena (CoT). Los benchmarks actuales no distinguen dónde termina el modelo y dónde comienza su entorno.

Esto lleva a una falsa confianza: un sistema puede obtener un 89% en MATH pero fallar en una tarea básica como cambiar estrategias en la planificación de múltiples pasos, porque las funciones ejecutivas no se prueban por separado.

Diez capacidades cognitivas: desde la percepción hasta la cognición social

La taxonomía divide la inteligencia general en diez capacidades mutuamente independientes. Ocho son fundamentales, mientras que dos son compuestas (no pueden reducirse a la suma de las capacidades básicas).

Capacidades fundamentales:

• Percepción—procesamiento de señales sensoriales. Para los LLM, esto no es visión, sino tokenización como canal alternativo para acceder al lenguaje. La distinción es crucial: los humanos ven un objeto, mientras que los modelos reciben su descripción.
• Generación—producción de salidas (texto, código, acciones) y razonamiento interno. CoT aquí no es un truco, sino una manifestación de la capacidad generativa, separada de la deducción lógica.
• Atención—gestión del enfoque en contextos dinámicos. No se trata del mecanismo de atención en transformers, sino de una capacidad cognitiva para equilibrar la concentración con la sensibilidad a nuevos estímulos.
• Aprendizaje—cambio conductual sostenido a través de la experiencia. El aprendizaje en contexto no cuenta como aprendizaje en este sentido: el conocimiento no se retiene fuera de la sesión.
• Memoria—cuatro tipos: declarativa (hechos), episódica (eventos), procedimental (habilidades) y prospectiva (intenciones). El olvido está incluido como una función útil: los modelos modernos no pueden eliminar selectivamente parámetros obsoletos.
• Razonamiento—deducción, inducción, abducción, analogía y pensamiento matemático. Se excluye la coincidencia automática de patrones: adivinar basándose en pistas formales de la pregunta no es razonamiento.
• Metacognición—monitoreo de la propia confianza, detección de errores y corrección de estrategias. La principal brecha entre humanos y IA: los modelos no saben lo que no saben.
• Funciones ejecutivas—establecimiento de objetivos, planificación, control de impulsos, flexibilidad cognitiva y memoria de trabajo. Aquí es donde los agentes más a menudo fallan al cambiar entre subtareas.

Capacidades compuestas:

• Resolución de problemas—orquestar percepción, razonamiento, planificación y aprendizaje. Un fallo en cualquier capacidad básica se propaga y socava la solución.
• Cognición social—modelar las creencias e intenciones de otros, cooperación, negociación, persuasión e incluso engaño. El engaño se incluye no como una amenaza ética, sino como un marcador diagnóstico de profundidad en la comprensión social.

Protocolo de medición: tres etapas y un gráfico de radar

La clasificación sin medición es una abstracción académica. DeepMind propone un protocolo de tres etapas:

• Prueba aislada de cada capacidad—las tareas son estrictamente unidimensionales y no mezclan competencias. Los bancos de tareas son cerrados y sometidos a auditorías independientes. Los formatos van desde opciones múltiples hasta escenarios multimodales con límites de tiempo.
• Muestra de control de humanos—el mismo conjunto de tareas, las mismas instrucciones y el mismo acceso a herramientas. Sin ventajas para la IA: si el modelo usa búsqueda, los humanos también obtienen una interfaz web.
• Comparación de percentiles—para cada uno de los diez ejes, se calcula qué porcentaje de humanos supera el modelo. El resultado es un gráfico de radar (perfil irregular), no una puntuación única.

Esto permite identificar desequilibrios críticos: por ejemplo, un percentil del 95 en razonamiento y otro del 20 en metacognición. Un modelo así es peligroso en escenarios de alto riesgo: errará constantemente.

Qué importa

• La taxonomía no reemplaza los benchmarks; requiere que estos se reestructuren: cada prueba debe estar claramente vinculada a una sola capacidad, sin “contaminación cruzada”.
• Un perfil irregular no es un defecto, sino una característica objetiva. La AGI debe demostrar equilibrio en los diez ejes, no valores máximos en áreas individuales.
• La falta de herramientas estándar para aprender, metacognición, atención, funciones ejecutivas y cognición social no es un retraso técnico, sino una brecha metodológica en la industria.
• La medición debe ser relativa: no “cuántas tareas se resolvieron”, sino “¿es el modelo mejor que X% de las personas en condiciones idénticas?”
• La implementación exitosa del protocolo requiere revisar las arquitecturas: por ejemplo, la memoria a largo plazo y los mecanismos de olvido deben convertirse en componentes de primera clase, no en plugins externos.

Cinco ‘brechas’ en el diagnóstico moderno de la IA

DeepMind identifica claramente áreas donde faltan herramientas de medición confiables:

• Aprendizaje—¿cómo distinguir entre adquirir nuevo conocimiento y reproducir un patrón aprendido? Se necesita una prueba de transferencia: aprender en un dominio → aplicarlo en otro, sin volver a ajustar.
• Metacognición—existen estudios sobre calibrar la confianza, pero no están estandarizados ni escalables. Necesitamos tareas en las que el modelo evalúe explícitamente su probabilidad de acertar antes de responder.
• Atención—las pruebas actuales (por ejemplo, “una aguja en un pajar”) son demasiado simplistas. Necesitamos evaluaciones de la resistencia a distracciones dinámicas en diálogos largos con objetivos cambiantes.
• Funciones ejecutivas—no hay benchmarks para la flexibilidad cognitiva. Por ejemplo, un sistema debería pasar de resolver algorítmicamente a usar enfoques heurísticos cuando las restricciones cambian en tiempo real.
• Cognición social—las pruebas existentes de teoría de la mente (ToM) no diferencian a los modelos avanzados. Necesitamos escenarios que involucren negociaciones multiusuario, intenciones ocultas y señales contradictorias.

El protocolo de DeepMind no hace que los modelos sean más inteligentes. Los hace medibles. Para los desarrolladores, esto significa pasar de “tenemos un 87% en MMLU” a “estamos en el percentil 62 en metacognición—requiere refactorizar el módulo de autocontrol”. Esto no es publicidad; es una especificación técnica.

— Editorial Team