AI 科学裁判：30B 在可引用性上优于 GPT-5.2

# AI 模型掌握科学品味：30B 参数模型在预测引用潜力上超越 GPT-5.2

复旦大学和 OpenMOSS 的研究人员开发了 Scientific Judge 语言模型，该模型能够基于摘要评估科学论文的潜力。没有使用手动专家标注，而是将引用数据作为价值的自然指标。该 30 亿参数模型在成对摘要比较中达到了 80.6% 的准确率，超越了 GPT-5.2 和 Gemini 3 Pro。

研究人员编译了一个包含 70 万对文章的数据集，这些文章来自 210 万篇 arXiv 出版物。配对基于以下标准：同时发表、同一个领域。任务是预测哪篇文章会获得更多引用。这种方法让模型能够模拟科学社区的“投票”，而无需主观评估。

超越训练数据的泛化能力

Scientific Judge 展现出强大的泛化能力。在 2024 年之前的文章上训练后，该模型能够准确预测 2025 年出版物的引用潜力。仅在计算机科学材料上训练，即可迁移到物理学、数学和生物学领域。

评估引用潜力的技能还应用于会议审稿分数，例如 ICLR——准确率达到 87.7%。这表明模型捕捉到了“优质”科学普遍特征，而非特定领域的模式。

• 跨领域迁移能力：计算机科学 → 物理学、数学、生物学。
• 时间外推：基于截至 2024 年的数据预测 2025 年。
• 应用于审稿：在 ICLR 数据集上准确率 87.7%。

Scientific Thinker：带自我批评的想法生成

基于 Scientific Judge，研究人员创建了 Scientific Thinker 模型，用于生成研究延续想法。Judge 作为内部评论家：从多个想法中挑选最具潜力的一个，指导 Thinker 的训练。

SciThinker-30B 在 81.5% 的案例中优于基础模型，并与 GPT-5.2 相当。该过程包括：

• 基于摘要生成多个想法。
• Judge 评估引用潜力。
• 挑选并基于最佳想法微调。

这种自我改进循环让模型能够聚焦高潜力方向，而无需外部反馈。

局限性与前景

引用是科学价值的 imperfect 代理指标：受偏见、延迟和网络效应影响。SciThinker 提出的想法尚未经过实验验证。尽管如此，这种方法证明了“科学品味”可以从聚合的社区数据中提取。

前景包括优化代理指标（例如，结合专利、实现代码）和集成到审稿流程中。对于 AI 开发者，这开辟了为其他领域创建专用评判模型的道路。

关键要点

• Scientific Judge (30B)——未来引用成对排名准确率 80.6%，优于 GPT-5.2。
• 泛化能力：跨领域和时间外推，性能保持不变。
• SciThinker 使用 Judge 进行自我审视，在想法生成上与顶级模型相当。
• 在 arXiv 的 70 万对上训练——模拟专家品味的廉价方式。
• 局限性：引用作为代理需谨慎应用。

— Editorial Team