# ARC-AGI-3: interaktivní benchmark pro hodnocení agentní inteligence
ARC Prize Foundation představila ARC-AGI-3 — třetí verzi benchmarku pro měření obecné inteligence AI. Na rozdíl od statických úkolů předchozích iterací zde najdete 135 interaktivních prostředí velikosti 64×64. Agent interaguje s prostředím krok za krokem, bez jakýchkoli nápověd: prozkoumává ho, buduje model světa, stanovuje cíle a plánuje akce. Metrika RHAE hodnotí nejen samotné řešení, ale i efektivitu — podle kvadratické formule, kde nadbytečné akce výrazně snižují skóre. Například pokud člověku stačí 10 kroků a AI jich utratí 100, výsledek je pouze 1 %.
Kalibrace proběhla na 486 lidech v San Franciscu: prostředí byla zahrnuta pouze tehdy, pokud je minimálně dva z deseti vyřeší z prvního pokusu naprosto dokonale. Lidé dosahují 100% úspěšnosti, mediánový čas činí 7,4 minuty.
Výsledky top modelů
Na poloprivátním souboru přední LLM modely dosahují minimálních výsledků bez nástrojů:
- Gemini 3.1 Pro Preview: 0,37%
- GPT-5.4 (High): 0,26%
- Opus 4.6 (Max): 0,25%
- Grok-4.20: 0,00%
Tyto modely dostávají jediný prompt: „Hrajete hru. Váš cíl je vyhrát.“ Leaderboard vylučuje „harnessy“ — externí programy pro řešení úkolů, aby se pozornost soustředila na čistou inteligenci agenta.
Proč opuštění statických úkolů
Předchozí verze ARC-AGI jsou kompromitovány: modely jako Gemini 3 projevují znalosti o mapování čísel na barvy z benchmarku, přestože to v promptu není uvedeno. Data prosákla do tréninkových sad. Interaktivní formát tento problém řeší tím, že vyžaduje online průzkum a adaptaci.
Benchmark hodnotí čtyři klíčové komponenty:
- Průzkum: samostatné prozkoumávání prostředí.
- Budování modelu světa: porozumění mechanik bez instrukcí.
- Stanovení cílů: určení cíle na základě pozorování.
- Plánování: optimalizace posloupnosti akcí.
Harnessy vs čistá inteligence
Pro harnessy je připraven samostatný track komunity. Příklad: Opus 4.6 s harnessem Duke vyřeší jedno prostředí na 97,1 %, ale na jiném selže na 0 %. To ukazuje nedostatek generalizace — metrika měří inženýrské úsilí, nikoli AGI. François Chollet, autor benchmarku a Keras, zdůrazňuje: skutečný AGI se obejde bez externích pomůcek, stejně jako člověk v neznámé situaci.
Podmínky pro lidi v testovacím centru jsou obdobné: žádné instrukce.
Co je důležité
- ARC-AGI-3 se zaměřuje na agentní schopnosti, nikoli na rozpoznávání vzorů.
- Metrika RHAE trestá neefektivitu kvadraticky a zdůrazňuje optimalizaci.
- Top modely pod 0,4 % bez harnessů; lidé — 100 %.
- Kompromitace dat předchozích verzí je potvrzena příklady z promptů.
- Samostatný track pro harnessy umožňuje komunitě experimentovat.
Technický report je k dispozici k analýze a zdůrazňuje potřebu nových přístupů k hodnocení AI.
— Editorial Team
Zatím žádné komentáře.