使用 ML 进行科学链接验证

基于机器学习的科学文献参考文献自动验证系统

开发用于科学出版物中参考文献条目自动验证的工具，旨在解决生成模型中的“幻觉”问题。该系统分析PDF或DOCX文件，定位参考文献部分，解析条目，并按“已验证”到“未知”的等级评估其真实性。这能够检测不存在的来源、扭曲的DOI和格式错误，并提供可操作的修正建议。

由于AI生成内容的兴起，这一问题变得尤为紧迫：参考文献经常被捏造或扭曲，损害了工作的可信度、可重复性，并浪费了审稿人的时间。该系统不仅限于DOI验证——它还会将元数据与Crossref、OpenAlex、Wikidata、ORCID和Google Scholar等注册机构进行交叉比对。

处理流程阶段

文档处理遵循严格的顺序：

• 从PDF/DOCX中提取文本，考虑重复标题和扫描件等噪声。
• 使用启发式方法定位参考文献部分，而不仅仅是“参考文献”等标题。
• 拆分为单个条目。
• 解析字段：作者、标题、年份、期刊、卷、期、页码、DOI、URL。
• 计算解析置信度。
• 验证DOI/URL并在外部数据库中搜索确认信息。
• 在机器学习支持下评估可信度。
• 生成包含规范化和修正建议的报告。

文档（PDF/DOCX）
-> 文本提取
-> 定位参考文献
-> 拆分为条目
-> 解析字段
-> 检查DOI/URL
-> 搜索注册机构
-> 评估可信度
-> 生成报告

解析多样化格式的挑战

参考文献条目因标准（GOST、APA、IEEE）、来源类型（文章、书籍、专利、网站）和质量而异。PDF文件通常包含换行符、不稳定的文本块，并且缺乏文本层。该系统处理：

• 没有DOI的部分填充条目。
• GOST格式的俄语来源。
• 扭曲的字段（作者、标题）。
• 混合的格式样式。

解析过程评估识别置信度，标记可疑条目以供人工审核。这在真实性验证之前至关重要。

结合机器学习的混合方法

纯规则方法对于噪声数据不足，而纯机器学习方法会降低可解释性。混合方案包括：

• 规则和启发式方法：特征提取、基本的DOI/URL验证、结构化。
• 机器学习层：在非理想情况下（缺少DOI、解析置信度低、匹配模糊）进行评估。

模型使用的特征：

• 关键字段的存在（标题、年份、期刊、DOI）。
• 解析置信度。
• DOI/URL检查结果。
• 来自注册机构的确认数量。
• 启发式条目评估。

可信度状态：

• 已验证 — 完全确认。
• 可能已验证 — 数据有限情况下的可能匹配。
• 未验证 — 信号不足。
• 未知 — 缺乏数据。

报告解释判定结果：不匹配的字段、建议的修正。

现有工具的不足之处

GROBID、CERMINE、AnyStyle解析效果良好，Crossref验证元数据，但端到端的流程很少见。该系统考虑了：

• PDF噪声和GOST格式。
• 没有DOI/URL的情况。
• 俄语条目。
• 对审稿人的可解释性。

这使得该工具适用于科学文本的编辑、作者和质量保证系统。

各阶段的质量指标

评估分为：

• 解析：字段提取的准确性（作者、DOI、年份）。
• 匹配：与注册机构匹配的召回率/精确率。
• 可信度：在包含幻觉参考文献的测试数据集上状态判定的准确性。

原型通过Web界面接受文件，输出JSON结构和报告。

关键要点

• 该系统在不确定性尺度上验证来源，而非二元判定。
• 规则+机器学习的混合方法确保了可解释性和对噪声的鲁棒性。
• 对GOST和俄语条目的支持扩大了适用性。
• 从解析到报告的流程最小化了人工工作量。
• 专注于现实场景：扭曲的DOI、缺失的标识符。

— Editorial Team