Kaggle Benchmarks：如何测试 AI 认知能力

# Kaggle Benchmarks：AI 模型测试的新时代

Kaggle 重新定义了自己在机器学习行业中的角色——平台不再局限于数据科学竞赛，而是专注于 AI 认知能力的标准化测试。2026 年 4 月，Benchmarks 版块和 SDK 正式推出，让开发者能够创建自己的测试，将它们打包成全面基准，并在统一基础设施上运行。这不仅仅是界面刷新，而是 AI 评估的范式转变。

Kaggle 发生了什么变化？

Kaggle 曾经的口号是“Your Home for Data Science”（数据科学家园）。现在变成了“The World's AI Proving Ground”（全球 AI 试炼场）。在 Google DeepMind 的旗下，平台从应用任务转向系统性衡量通往 AGI 的进步。竞赛减少了，但结构化的基准取而代之，让你可以测试模型在学习、元认知、注意力、执行功能和社会智能等认知功能上的表现。

基础设施支持：

• 使用定制指标创建自定义测试；
• 将测试分组为完整的基准；
• 在私有或公共数据集上运行评估；
• 获取详细日志、比较和排行榜；
• 免费每周 GPU/TPU 资源配额。

推出时，大约有 40 个热门模型可用——从 Llama 到 Gemini Ultra。达到上限了？只需申请更多资源。最大的问题是：目前基准参与还没有奖牌，这降低了顶尖 Kaggle 大师的积极性。

DeepMind 的首场竞赛：认知轨道

这种新格式的首场重大赛事是“Measuring Progress Toward AGI - Cognitive Abilities”竞赛。组织者设定了五个轨道，每个轨道对应人类核心认知功能：

• 学习——模型获取并应用新知识的能力，而非仅仅复述训练模式。
• 元认知——模型对自己知识和局限的觉知（“我知道自己不知道”）。
• 注意力——聚焦相关数据，同时屏蔽噪声。
• 执行功能——规划、抑制冲动反应，并适应变化条件。
• 社会认知——理解社会语境，而非只是吐出礼貌却空洞的回应。

超过 1000 人参与。其中，许多亮点想法来自数据科学/人工智能之外的领域——心理学家、教育者和游戏设计师。但实现往往陷入过度复杂：扎实概念被难以复现的神经科学式废话淹没。顶尖 Kagglers 大多缺席，很可能是因为没有积分奖励。

实际案例：通过棋盘游戏测试多模态注意力

一位参赛者用“TraceQuest: City Detective Benchmark”挑战注意力轨道，灵感来源于棋盘游戏“MicroMacro: Crime City”。概念很简单：测试 AI 是否能在多个维度追踪细节——视觉（城市地图）、逻辑（事件链）和时间（角色行动序列）。

游戏中：

• 一张巨大的黑白地图（约 10,000 个细节）；
• 超过 400 个独特角色；
• 侦探故事拆分成 5–10 个连锁问题（例如，抢劫 → 追逐 → 换车）。

基准创建者联系了游戏设计师，后者在截止日期前三天同意合作。结果：模型必须解析视觉场景、串联因果，并保持对微小细节的专注——像八岁小孩一样。讽刺的是，说明文档（解释性笔记）的复杂程度超过了基准本身：在今天的 Kaggle 上，讲故事和清晰度胜过纯技术炫技。

如何创建自己的基准：步骤与陷阱

有兴趣使用 Kaggle Benchmarks SDK 的开发者，应牢记这些原则：

• 从清晰假设开始。 不是“来测试模型吧”，而是“模型 X 在条件 Z 下能否完成 Y”？
• 保持机制简单。 跳过不必要的抽象——评委和同行需要轻松复现你的测试。
• 优先可解释性。 指标要人人懂。一个晶莹剔透的指标胜过三个模糊的。
• 利用多模态。 文本 + 图像 + 时间序列是最适合探测注意力鲁棒性的组合。
• 撰写人类易读的说明文档。 阐明测试的重要性、产生的洞见，以及如何反映真实认知挑战。

同一作者的其他成功基准：

• PsychoMirror——通过 Shogoth 协议测试大语言模型中的“功能性情绪”；
• FlightRank Benchmark——用隐藏因素（舒适度、延误风险）排名机票；
• Cayley Solvers——通过置换解谜，考验算法思维。

关键要点

• Kaggle Benchmarks 不是取代旧竞赛，而是转向科学驱动的 AI 评估。
• 平台降低了门槛：任何开发者都能免费在强大基础设施上构建和运行测试。
• 核心焦点：推动 AI 通往 AGI 的认知功能，如注意力、规划和社会智慧。
• 成功取决于假设清晰度和结果解读，而非代码复杂性。
• 没有奖牌限制了顶级参与，但为跨学科人才打开了大门。

基准的未来：行业走向何方

Anthropic 和 DeepMind 已将类似设置用于内部模型评估。以大语言模型中的“功能性情绪”或“人格选择模型”为例——指标已超越准确率和损失。行为特征如今主导：模型如何决策、承认错误、应对意外。

Kaggle 提供开放竞技场，进行此类实验，实现独特比较——不止性能，还有“认知成熟度”。很快会出现新兴标准，如“AI 认知分数”或“AGI 准备指数”，从基准结果聚合而来。

对开发者：深入 Benchmarks SDK，挑战跨学科问题，掌握讲述测试故事的技巧。技术花招让位于有意义的深度。这就是下一波 AI 评估标准的诞生之道。

— Editorial Team