# ARC-AGI-3: Interaktiver Benchmark zur Bewertung agentischer Intelligenz
Die ARC Prize Foundation hat ARC-AGI-3 veröffentlicht – die dritte Version des Benchmarks zur Messung allgemeiner KI-Intelligenz. Im Gegensatz zu den statischen Aufgaben in früheren Versionen umfasst er 135 interaktive Umgebungen in der Größe 64×64. Der Agent interagiert schrittweise mit der Umgebung, ohne Hinweise: Er erkundet, baut ein Weltmodell auf, setzt Ziele und plant Aktionen. Die RHAE-Metrik bewertet nicht nur die Lösung, sondern auch die Effizienz – mit einer quadratischen Formel, bei der übermäßige Aktionen den Score stark mindern. Zum Beispiel, wenn ein Mensch 10 Schritte braucht, aber die KI 100, ergibt das nur 1 %.
Die Kalibrierung wurde mit 486 Personen in San Francisco durchgeführt: Umgebungen werden nur aufgenommen, wenn mindestens zwei von zehn sie beim ersten Versuch vollständig lösen. Menschen erreichen 100 % Erfolg mit einer medianen Zeit von 7,4 Minuten.
Top-Modelle-Ergebnisse
Auf einem semi-privaten Datensatz zeigen führende LLMs ohne Tools minimale Ergebnisse:
- Gemini 3.1 Pro Preview: 0,37 %
- GPT-5.4 (High): 0,26 %
- Opus 4.6 (Max): 0,25 %
- Grok-4.20: 0,00 %
Diese Modelle erhalten einen einzigen Prompt: „Du spielst ein Spiel. Dein Ziel ist zu gewinnen.“ Die Bestenliste schließt „Harnesses“ aus – externe Programme zum Lösen der Aufgaben –, um den Fokus auf die reine Intelligenz des Agents zu legen.
Warum weg von statischen Aufgaben
Frühere Versionen von ARC-AGI wurden kompromittiert: Modelle wie Gemini 3 zeigen Kenntnisse von Zahl-Farbe-Zuordnungen aus dem Benchmark, obwohl sie im Prompt nicht erwähnt werden. Daten sind in Trainingsdaten eingesickert. Das interaktive Format löst das, indem es Online-Erkundung und Anpassung erfordert.
Der Benchmark bewertet vier Schlüsselfaktoren:
- Exploration: unabhängige Untersuchung der Umgebung.
- Aufbau eines Weltmodells: Verständnis der Mechaniken ohne Anleitungen.
- Zielsetzung: Festlegen von Zielen basierend auf Beobachtungen.
- Planung: Optimierung von Aktionssequenzen.
Harnesses vs. reine Intelligenz
Es gibt einen separaten Community-Track für Harnesses. Beispiel: Opus 4.6 mit dem Duke-Harness löst eine Umgebung zu 97,1 %, scheitert aber bei einer anderen mit 0 %. Das zeigt fehlende Generalisierung – die Metrik misst Ingenieurskunst, nicht AGI. François Chollet, Autor des Benchmarks und Schöpfer von Keras, betont: Wahre AGI schafft das ohne externe Hilfsmittel, wie ein Mensch in einer unbekannten Situation.
Die Bedingungen für Menschen im Testzentrum sind ähnlich: keine Anleitungen.
Wichtige Erkenntnisse
- ARC-AGI-3 fokussiert auf agentische Fähigkeiten, nicht auf Mustererkennung.
- Die RHAE-Metrik bestraft Ineffizienz quadratisch und betont Optimierung.
- Top-Modelle erreichen unter 0,4 % ohne Harnesses; Menschen – 100 %.
- Datenkontamination in früheren Versionen durch Prompt-Beispiele bestätigt.
- Separater Track für Harnesses erlaubt der Community Experimente.
Der technische Bericht steht zur Analyse bereit und unterstreicht die Notwendigkeit neuer Ansätze zur KI-Bewertung.
— Editorial Team
Noch keine Kommentare.