ARC-AGI-3 基准测试：AI 仅 0.26% vs 人类 100%

ARC-AGI-3：评估代理智能的交互式基准

ARC Prize Foundation 已发布 ARC-AGI-3——用于衡量通用人工智能智能的基准第三版。与以往版本的静态任务不同，它包含 135 个尺寸为 64×64 的交互式环境。代理逐步与环境交互，没有任何提示：它进行探索、构建世界模型、设定目标并规划行动。RHAE 指标不仅评估解决方案，还考察效率——采用二次公式，过多行动会严重扣分。例如，如果人类只需 10 步，而 AI 用了 100 步，结果仅为 1%。

校准测试由旧金山 486 人参与：只有至少十人中两人能在首次尝试完全解决的环境才被纳入。人类成功率达 100%，中位用时 7.4 分钟。

顶级模型成绩

在半私有数据集上，没有工具辅助的领先大语言模型成绩微乎其微：

• Gemini 3.1 Pro Preview: 0.37%
• GPT-5.4 (High): 0.26%
• Opus 4.6 (Max): 0.25%
• Grok-4.20: 0.00%

这些模型仅收到一个提示：“你在玩一个游戏。你的目标是获胜。”排行榜不包括“harness”——用于解决任务的外部程序——以保持焦点在代理的纯智能上。

为什么放弃静态任务

ARC-AGI 以往版本已被攻破：像 Gemini 3 这样的模型展示了基准中数字到颜色的映射知识，尽管提示中并未提及。数据泄露进了训练集。交互式格式通过要求实时探索和适应来解决这一问题。

该基准评估四个关键能力：

• 探索：独立考察环境。
• 世界模型构建：无需指令理解机制。
• 目标设定：基于观察确定目标。
• 规划：优化行动序列。

Harness 与纯智能

为 harness 提供了独立的社区赛道。示例：Opus 4.6 搭配 Duke harness 在一个环境中解决率为 97.1%，但另一个仅为 0%。这暴露了泛化能力的缺失——该指标衡量的是工程技巧，而非 AGI。基准作者、Keras 创建者 François Chollet 强调：真正的 AGI 无需外部辅助即可应对，就像人类面对陌生情境一样。

测试中心人类参与者的条件类似：无任何指令。

关键要点

• ARC-AGI-3 聚焦代理能力，而非模式识别。
• RHAE 指标对低效行为施以二次惩罚，强调优化。
• 顶级模型无 harness 得分低于 0.4%；人类达 100%。
• 以往版本数据污染经提示示例证实。
• harness 独立赛道便于社区实验。

技术报告已开放供分析，凸显了 AI 评估亟需新方法。

— Editorial Team