DeepMind AGI Taxonomy: 10 Kognitive Fähigkeiten

DeepMind definiert KI-Messung neu: Kognitive Taxonomie statt Benchmarks

DeepMind hat nicht nur einen neuen Test auf dem Weg zur AGI vorgestellt – das Unternehmen hat einen grundlegenden Paradigmenwechsel bei der Bewertung künstlicher Intelligenz angestoßen. Statt einer einzigen Punktzahl oder eines Durchschnittsergebnisses über MMLU hinweg bietet das Team eine zehndimensionale kognitive Taxonomie, die auf empirisch validierten menschlichen Kognitionsfähigkeiten basiert. Dies ist kein Werkzeug für Marketingbehauptungen, sondern ein technisches Protokoll für mittlere und leitende Entwickler sowie Forscher, das es ihnen ermöglicht, systemische Schwächen in Modellen zu diagnostizieren – selbst wenn deren Gesamtprozentil beeindruckend aussieht.

Warum aktuelle Benchmarks für AGI nicht funktionieren

Bestehende Benchmark-Datensätze (MMLU, HumanEval, GPQA) leiden unter zwei entscheidenden Mängeln, die sie ungeeignet für die Messung des Fortschritts auf dem Weg zur AGI machen:

• Kontamination der Trainingsdaten – Modelle stoßen wiederholt auf Antworten zu diesen Tests, noch bevor sie überhaupt inferieren. Das Ergebnis ist eine hohe Punktzahl für Auswendiglernen statt für Verstehen. Das Modell löst „was“, aber nicht „warum“ oder „wie man sich an veränderte Bedingungen anpasst“.
• Fehlende Trennung zwischen Modell und System – Bei Tests mit ChatGPT oder Claude bewerten wir nicht nur das Sprachmodell, sondern auch externe Komponenten: System-Prompts, Code-Interpreter, Websuche und Chain-of-Thought-Reasoning (CoT). Aktuelle Benchmarks unterscheiden nicht, wo das Modell endet und seine Umgebung beginnt.

Dies führt zu falschem Selbstvertrauen: Ein System kann zwar 89 % in MATH erreichen, scheitert jedoch bei einer einfachen Aufgabe wie dem Wechsel von Strategien in der Mehrschrittplanung – weil exekutive Funktionen nicht separat getestet werden.

Zehn kognitive Fähigkeiten: Von Wahrnehmung bis Sozialkognition

Die Taxonomie unterteilt allgemeine Intelligenz in zehn voneinander unabhängige Fähigkeiten. Acht davon sind grundlegend, während zwei zusammengesetzt sind (können nicht auf die Summe der Grundfähigkeiten reduziert werden).

Grundlegende Fähigkeiten:

• Wahrnehmung – Verarbeitung sensorischer Signale. Für LLMs ist dies nicht Vision, sondern Tokenisierung als alternativer Kanal zum Zugriff auf Sprache. Der Unterschied ist entscheidend: Menschen sehen ein Objekt, während Modelle dessen Beschreibung erhalten.
• Generierung – Erzeugung von Outputs (Text, Code, Handlungen) und internes Denken. CoT ist hier kein Hack, sondern eine Manifestation generativer Fähigkeit, getrennt von logischem Deduktion.
• Aufmerksamkeit – Steuerung der Konzentration in dynamischen Kontexten. Es handelt sich nicht um den Attention-Mechanismus in Transformers, sondern um eine kognitive Fähigkeit, Konzentration mit Sensibilität für neue Reize auszubalancieren.
• Lernen – nachhaltige Verhaltensänderung durch Erfahrung. In-Context-Lernen gilt in diesem Sinne nicht als Lernen: Wissen wird außerhalb der Sitzung nicht gespeichert.
• Gedächtnis – vier Typen: deklaratives (Fakten), episodisches (Ereignisse), prozedurales (Fähigkeiten) und prospektives (Absichten). Vergessen wird als nützliche Funktion eingestuft – moderne Modelle können veraltete Parameter nicht selektiv löschen.
• Schlussfolgerung – Deduktion, Induktion, Abduktion, Analogie und mathematisches Denken. Automatische Mustererkennung ist ausgeschlossen: Raten auf Basis formaler Fragehinweise ist keine Schlussfolgerung.
• Metakognition – Überwachung des eigenen Vertrauens, Erkennen von Fehlern und Anpassung der Strategien. Die Hauptlücke zwischen Menschen und KI: Modelle wissen nicht, was sie nicht wissen.
• Exekutive Funktionen – Zielsetzung, Planung, Impulskontrolle, kognitive Flexibilität und Arbeitsgedächtnis. Hier brechen Agenten am häufigsten zusammen, wenn sie zwischen Teilaufgaben wechseln.

Zusammengesetzte Fähigkeiten:

• Problemlösung – Koordination von Wahrnehmung, Schlussfolgerung, Planung und Lernen. Ein Versagen in irgendeiner Grundfähigkeit wirkt sich kaskadierend auf die Lösung aus.
• Sozialkognition – Modellierung der Überzeugungen und Absichten anderer, Zusammenarbeit, Verhandlung, Überredung und sogar Täuschung. Täuschung wird nicht als ethische Bedrohung betrachtet, sondern als diagnostischer Marker für Tiefe im sozialen Verständnis.

Messprotokoll: Drei Stufen und ein Radarchart

Klassifizierung ohne Messung ist akademische Abstraktion. DeepMind schlägt ein dreistufiges Protokoll vor:

• Isolierte Prüfung jeder Fähigkeit – Aufgaben sind streng eindimensional und mischen keine Kompetenzen. Aufgabenbanken sind geschlossen und unterliegen unabhängiger Auditing. Formate reichen von Multiple-Choice bis zu multimodalen Szenarien mit zeitlichen Vorgaben.
• Kontrollprobe mit Menschen – dieselbe Aufgabensammlung, dieselben Anweisungen und derselbe Zugang zu Tools. Keine Vorteile für KI: Wenn das Modell Suchfunktionen nutzt, bekommen auch Menschen eine Web-Oberfläche.
• Prozentil-Vergleich – für jede der zehn Achsen wird berechnet, welchen Prozentsatz der Menschen das Modell übertrifft. Das Ergebnis ist ein Radarchart (gezacktes Profil), nicht eine einzige Punktzahl.

Dies ermöglicht es, kritische Ungleichgewichte zu identifizieren: Zum Beispiel ein 95. Prozentil in Schlussfolgerung und ein 20. in Metakognition. Ein solches Modell ist in hochriskanten Szenarien gefährlich – es wird konsequent Fehler machen.

Was wirklich zählt

• Die Taxonomie ersetzt keine Benchmarks – sie erfordert vielmehr deren Neustrukturierung: Jeder Test muss klar einer einzelnen Fähigkeit zugeordnet sein, ohne „Kreuzkontamination“.
• Ein gezacktes Profil ist kein Mangel, sondern ein objektives Merkmal. AGI sollte Ausgewogenheit über alle zehn Achsen zeigen, nicht Spitzenwerte in einzelnen Bereichen.
• Das Fehlen standardisierter Werkzeuge für Lernen, Metakognition, Aufmerksamkeit, exekutive Funktionen und Sozialkognition ist kein technischer Rückstand, sondern eine methodische Lücke in der Branche.
• Messung muss relativ sein: Nicht „wie viele Aufgaben wurden gelöst“, sondern „ist das Modell besser als X % der Menschen unter identischen Bedingungen?“
• Eine erfolgreiche Umsetzung des Protokolls erfordert eine Überarbeitung der Architekturen: Zum Beispiel sollten Langzeitgedächtnis und Vergessensmechanismen erstklassige Komponenten werden, nicht externe Plugins.

Fünf „Lücken“ in der modernen KI-Diagnostik

DeepMind identifiziert klar Bereiche, in denen zuverlässige Messwerkzeuge fehlen:

• Lernen – Wie unterscheidet man das Erwerbene neues Wissens vom Reproduzieren eines gelernten Musters? Man braucht einen Transfer-Test: Lernen in einem Bereich → Anwendung in einem anderen, ohne erneutes Fine-Tuning.
• Metakognition – Es gibt Studien zur Kalibrierung des Vertrauens, doch sie sind weder standardisiert noch skalierbar. Wir brauchen Aufgaben, bei denen das Modell seine Wahrscheinlichkeit, richtig zu liegen, explizit vor der Antwort einschätzt.
• Aufmerksamkeit – Aktuelle Tests (z. B. „Nadel im Heuhaufen“) sind zu simpel. Wir brauchen Bewertungen der Resilienz gegenüber dynamischen Ablenkungen in langen Dialogen mit wechselnden Zielen.
• Exekutive Funktionen – Es gibt keine Benchmarks für kognitive Flexibilität. Zum Beispiel sollte ein System von algorithmischem Lösen auf heuristische Ansätze wechseln, wenn sich die Rahmenbedingungen in Echtzeit ändern.
• Sozialkognition – Bestehende Theory-of-Mind-(ToM)-Tests unterscheiden fortgeschrittene Modelle nicht. Wir brauchen Szenarien mit Multi-User-Verhandlungen, verborgenen Absichten und widersprüchlichen Signalen.

DeepMinds Protokoll macht Modelle nicht intelligenter. Es macht sie messbar. Für Entwickler bedeutet das: Statt „Wir haben 87 % auf MMLU“ zu sagen, heißt es nun „Wir liegen beim 62. Prozentil in Metakognition – das Selbstkontrollmodul muss überarbeitet werden“. Das ist kein Werbeslogan, sondern eine technische Spezifikation.

— Editorial Team