ARC-AGI-3 벤치마크: AI 0.26% vs 인간 100%

# ARC-AGI-3: 에이전트 지능 평가를 위한 상호작용 벤치마크

ARC Prize Foundation이 ARC-AGI-3를 공개했습니다. 이는 일반 AI 지능을 측정하는 벤치마크의 세 번째 버전입니다. 이전 버전의 정적 작업과 달리, 64×64 크기의 135개 상호작용 환경을 특징으로 합니다. 에이전트는 힌트 없이 환경과 단계적으로 상호작용하며, 탐색하고 세계 모델을 구축하며 목표를 설정하고 행동을 계획합니다. RHAE 지표는 단순한 해결뿐만 아니라 효율성도 평가합니다. 과도한 행동이 점수를 크게 깎아내리는 이차 방정식을 사용합니다. 예를 들어 인간이 10단계로 풀어도 AI가 100단계를 쓰면 결과는 1%에 불과합니다.

샌프란시스코에서 486명의 캘리브레이션이 진행되었습니다. 10명 중 최소 2명이 첫 시도에서 완벽히 푸는 환경만 포함했습니다. 인간은 100% 성공률을 보였으며 중앙값 시간은 7.4분입니다.

최고 모델 성능

반비공개 데이터셋에서 선도적인 LLM들은 도구 없이 초라한 성적을 보입니다:

• Gemini 3.1 Pro Preview: 0.37%
• GPT-5.4 (High): 0.26%
• Opus 4.6 (Max): 0.25%
• Grok-4.20: 0.00%

이 모델들은 단 하나의 프롬프트를 받습니다: "당신은 게임을 하고 있습니다. 목표는 승리하는 것입니다." 리더보드는 작업 해결을 위한 외부 프로그램인 "하네스"를 제외하여 에이전트의 순수 지능에 초점을 맞춥니다.

정적 작업에서 벗어난 이유

이전 ARC-AGI 버전들은 타협되었습니다. Gemini 3 같은 모델이 프롬프트에 언급되지 않은 벤치마크의 숫자-색상 매핑 지식을 보여줍니다. 훈련 데이터에 유출된 것입니다. 상호작용 형식은 온라인 탐색과 적응을 요구하여 이를 해결합니다.

벤치마크는 네 가지 핵심 요소를 평가합니다:

• 탐색: 환경의 독립적 연구.
• 세계 모델 구축: 지시 없이 메커니즘 이해.
• 목표 설정: 관찰에 기반한 목표 결정.
• 계획: 행동 순서 최적화.

하네스 vs 순수 지능

하네스를 위한 별도의 커뮤니티 트랙이 제공됩니다. 예: Duke 하네스를 사용한 Opus 4.6은 한 환경을 97.1%로 풀지만 다른 하나는 0%에 실패합니다. 이는 일반화 부족을 보여주며, 지표는 엔지니어링이 아닌 AGI를 측정합니다. 벤치마크 저자이자 Keras 창시자인 François Chollet는 진정한 AGI는 낯선 상황의 인간처럼 외부 보조 없이 처리한다고 강조합니다.

테스트 센터의 인간 조건도 비슷합니다: 지시 없음.

주요 요점

• ARC-AGI-3는 패턴 인식이 아닌 에이전트 능력에 초점.
• RHAE 지표는 비효율성을 이차적으로 패널티 부여하며 최적화를 강조.
• 최고 모델들은 하네스 없이 0.4% 미만; 인간은 100%.
• 과거 버전 데이터 오염은 프롬프트 예시로 확인.
• 하네스 트랙으로 커뮤니티 실험 허용.

기술 보고서는 AI 평가를 위한 새로운 접근의 필요성을 강조하며 분석을 위해 공개되었습니다.

— Editorial Team