Benchmark ARC-AGI-3: AI na 0,26% przeciwko 100% ludzi

# ARC-AGI-3: interaktywny benchmark do oceny inteligencji agentów

Fundacja ARC Prize zaprezentowała ARC-AGI-3 — trzecią wersję benchmarku do mierzenia ogólnej inteligencji AI. W odróżnieniu od statycznych zadań poprzednich iteracji, tutaj mamy 135 interaktywnych środowisk o rozmiarze 64×64. Agent wchodzi w interakcję ze środowiskiem krok po kroku, bez podpowiedzi: eksploruje, buduje model świata, ustala cele i planuje działania. Metryka RHAE ocenia nie tylko rozwiązanie, ale i efektywność — według wzoru kwadratowego, gdzie nadmiarowe działania mocno obniżają wynik. Na przykład, jeśli człowiekowi potrzeba 10 kroków, a AI zużywa 100, wynik to zaledwie 1%.

Kalibracja została przeprowadzona na 486 osobach w San Francisco: środowiska włączono tylko wtedy, gdy minimum dwie osoby z dziesięciu rozwiązały je za pierwszym razem w pełni. Ludzie osiągają 100% sukcesu, mediana czasu — 7,4 minuty.

Wyniki topowych modeli

Na półprywatnym zbiorze zaawansowane LLM pokazują minimalne wyniki bez narzędzi:

• Gemini 3.1 Pro Preview: 0,37%
• GPT-5.4 (High): 0,26%
• Opus 4.6 (Max): 0,25%
• Grok-4.20: 0,00%

Te modele otrzymują pojedynczy prompt: „Gramy w grę. Twoim celem jest wygrać”. Leaderboard wyklucza „harnessy” — zewnętrzne programy do rozwiązywania zadań, aby fokus pozostał na czystej inteligencji agenta.

Dlaczego rezygnacja ze statycznych zadań

Poprzednie wersje ARC-AGI zostały skompromitowane: modele takie jak Gemini 3 wykazują wiedzę o mapowaniu liczb na kolory z benchmarku, choć nie jest to podane w prompcie. Dane wyciekły do zbiorów treningowych. Interaktywny format rozwiązuje ten problem, wymagając badań online i adaptacji.

Benchmark ocenia cztery kluczowe komponenty:

• Eksploracja: samodzielne badanie środowiska.
• Budowanie modelu świata: zrozumienie mechanik bez instrukcji.
• Ustalanie celów: wyznaczenie celu na podstawie obserwacji.
• Planowanie: optymalizacja sekwencji działań.

Harnessy vs czysta inteligencja

Dla harnessów przewidziano osobny tor społecznościowy. Przykład: Opus 4.6 z harnessem Duke rozwiązuje jedno środowisko na 97,1%, ale zawodzi w innym na 0%. To pokazuje brak generalizacji — metryka mierzy inżynierię, a nie AGI. François Chollet, autor benchmarku i Keras, podkreśla: prawdziwy AGI radzi sobie bez zewnętrznych podpórek, jak człowiek w nieznanej sytuacji.

Warunki dla ludzi w centrum testowym są analogiczne: żadnych instrukcji.

Co ważne

• ARC-AGI-3 skupia się na zdolnościach agentów, a nie rozpoznawaniu wzorców.
• Metryka RHAE karze nieefektywność kwadratowo, podkreślając optymalizację.
• Topowe modele poniżej 0,4% bez harnessów; ludzie — 100%.
• Kompromitacja danych z poprzednich wersji potwierdzona przykładami z promptów.
• Osobny tor dla harnessów pozwala społeczności eksperymentować.

Raport techniczny dostępny do analizy, podkreślający konieczność nowych podejść do oceny AI.

— Editorial Team