AI 漏洞：假疾病欺骗了 ChatGPT

虚构疾病实验暴露AI在科研数据处理中的漏洞

哥德堡大学的一名医学研究人员发明了一种名为“biksonomia”的虚构疾病，并在Preprints.org上发布了虚假的预印本。包括ChatGPT和谷歌Gemini在内的主流语言模型很快开始将这些信息视为事实，导致虚假医学主张广泛传播。

AI如何将虚构误认为真实

该实验始于2024年，当时两篇虚构论文被发布，描述了诸如眼睛刺激、眼睑周围皮肤变黑等症状，声称由屏幕蓝光引起。文件中存在明显的伪造痕迹：不存在的作者、杜撰的机构，甚至引用了科幻作品。尽管存在这些明显警示信号，AI系统仍索引了这些内容并开始引用。

到2024年春季：

• 微软Copilot将biksonomia描述为一种罕见病症；
• 谷歌Gemini建议咨询眼科医生；
• Perplexity引用了捏造的统计数据；
• ChatGPT协助诊断症状。

这一反应凸显了算法在来源验证方面的缺陷——AI严重依赖外部数据库，却缺乏深入的事实核查能力。

对科学界的后果

这些虚假预印本已渗透进真实的学术文献：其中一篇被期刊Cureus引用，作为眶周黑色素沉着的一种形式。该期刊随后撤回了引用，Preprints.org也于2026年4月10日删除了相关材料，并标注为伪造内容。

此类事件揭示了知识链条中的风险——从预印本平台到AI模型，再到同行评审出版物。根本原因在于自动化索引过程中，格式往往优先于内容，且早期阶段缺乏严格的审核机制。

主要启示

• AI模型在无批判评估的情况下轻易整合虚假科研文本；
• 明显存在缺陷的伪造论文仍通过聊天机器人传播；
• 这一问题不仅影响AI，也波及同行评审流程；
• 存在商业滥用可能，例如推广可疑健康产品；
• AI模型与出版平台亟需加强来源验证机制。

对AI与医疗行业的影响

此案例加速了关于AI在医疗领域可靠性的讨论。其后果包括误导依赖聊天机器人进行自我诊断的用户的风险。行业正面临对多层次验证日益增长的需求——结合专家审核、虚假内容检测算法以及透明的来源标注。

更广泛的背景显示，AI训练依赖开放获取的数据，而预印本自2010年代以来数量激增数十倍。若无有效过滤机制，这为错误信息的滋生提供了温床。OpenAI和谷歌等开发者已在推出更新，使模型对模糊来源保持更高警惕。

该实验强调了在信息处理中平衡速度与准确性的必要性——尤其是在医学这类高风险领域。

— Editorial Team