如何减少LLM中的幻觉：7种经过验证的技术

如何减少大语言模型幻觉：7种经过验证的技术

大语言模型（LLM）是强大的工具，但它们仍然容易生成看似合理但事实不准确的信息——这种现象被称为幻觉。对于部署这些模型的开发者和企业来说，学习如何减少大语言模型幻觉是构建可靠、可信应用的关键。本文综合了顶级学术会议和研究机构的前沿成果，提供了七种经过验证、有据可查的技术。

你将学到什么

阅读本指南后，你将理解驱动大语言模型幻觉的核心机制，并掌握一个清晰、可操作的框架，包含七种不同的缓解技术。你将了解哪些策略——从提示工程和检索到高级推理时干预——最适合不同的任务，并且你将能够实施多层次的方法，大幅提高事实准确性，应用于你自己的应用中。

1. 验证链（CoVe）：通过提问实现自我修正

验证链（Chain-of-Verification，CoVe） 是由Meta AI研究人员开发的一种强大提示策略，它迫使模型批判性地审视自己的输出。CoVe不是接受初稿，而是让大语言模型成为自己的事实核查员。

工作原理： 该方法分为四个连续步骤：

1. 生成基线响应： 模型对查询生成初始答案。
2. 规划验证问题： 模型生成一系列具体问题，用于检查初始响应中的事实主张。
3. 执行验证： 模型回答这些验证问题，理想情况下独立于初稿以避免偏差。最有效的变体"分解+修订"会分别回答每个问题。
4. 生成最终响应： 根据发现的矛盾或漏洞，模型生成修订后的、更正的最终答案。

证据： 在使用LLaMA-65B模型的测试中，CoVe在传记生成任务上的FactScore从约63.7分显著提升至约71.4分。这一表现甚至在某些基准测试中超越了ChatGPT和Perplexity.ai，表明有效的自我验证可以胜过依赖外部网络搜索的模型。

2. 检索增强生成（RAG）与双重策略

检索增强生成（RAG）将模型的输出锚定在外部可验证的知识上。这是对抗幻觉的主要防线，但并非所有RAG实现都同等有效。为了克服过度检索或检索无关信息等局限性，先进的双重策略方法正在兴起。

一种经过验证的方法： 研究人员开发了一种名为ACTD的双重策略RAG方法，它使用"自我知识判断模块"首先决定是否需要检索。如果模型能基于内部知识回答，就直接回答。如果需要检索，"任务分解模块"会将问题分解为子问题，以检索更细粒度、更相关的段落。该方法在NQ、TriviaQA和PopQA等事实问答基准测试中优于现有RAG方法，在精确匹配上平均比之前的最先进技术提高了0.75个百分点。

3. 使用树搜索算法的"慢思考"

与标准自回归生成（逐词生成文本，不加思考）不同，该技术将生成视为一个深思熟虑的推理过程。例如，HaluSearch框架集成了蒙特卡洛树搜索（MCTS）等树搜索算法，在确定最终答案之前探索多种推理路径。它使用自我评估奖励模型对每一步进行评分，并引导搜索走向最可靠的生成路径。为了保持计算可行性，它采用了"快"与"慢"思考模式之间的动态切换机制。这种方法已被证明在减少幻觉方面显著优于基线方法。

4. 对比解码：利用幻觉输出

对比解码是一种推理时技术，通过对比"好"模型（专家）和"坏"模型（业余者）的概率来提高输出质量。最近的创新显著改进了这种方法。

• DeCoRe（通过对比检索头进行解码）： 该方法基于一个发现：Transformer模型中的特定"检索头"负责提取上下文信息。通过屏蔽这些头以诱导"幻觉"状态，DeCoRe将基础模型的输出与屏蔽后的模型进行对比，以放大事实信息。这导致摘要任务提高了18.6%，指令遵循任务提高了10.9%。
• HICD（通过注意力分散诱导幻觉进行对比解码）： 该方法采取不同策略，选择对预测至关重要的注意力头，并分散其注意力以故意诱导幻觉。然后将原始输出与这种诱导出的幻觉输出进行对比，为解码准确文本创建更有效的信号。

5. 心理学引导的细粒度编辑

一种新颖的方法——两阶段心理学引导的细粒度编辑与采样（PGFES） 框架——应用心理学概念来理解和缓解幻觉。它首先将幻觉分类为虚构、暗示性和认知失调等类型。使用注意力增强的MLP探针，它为每种幻觉类型识别模型内部表示中的"真实性方向"。在推理过程中，模型的内部状态沿这些方向进行细粒度编辑，以生成一组修订后的响应。然后，动态加权机制从这些响应中采样，产生最一致、最事实的最终输出。在TruthfulQA数据集上的实验中，该方法相比基线将真实性得分提高了20.4%。

6. 选择性弃权学习：知道何时不回答

有时，防止幻觉最有效的方法是干脆不回答。选择性弃权学习，如"Seal"方法所示，是一种训练目标，教会模型识别自己的知识边界。模型被训练为通过输出特殊的[REJ]标记，选择性地拒绝与其实际知识分布不一致的标记。这使其能够避免对无根据或不确定的答案赋予高概率。在推理过程中，正则化解码目标使用学习到的[REJ]概率来惩罚不确定的预测，有效缓解了由知识错位引起的幻觉。

7. 基于方面的因果弃权：主动可靠性

比事后弃权更进一步，基于方面的因果弃权（ABCA） 框架通过分析大语言模型知识的内部多样性，实现早期、主动的弃权。该方法估计不同"方面"（例如，从法律与历史视角看待的问题）对模型知识可靠性的因果效应。如果这些方面效应不一致，则表明存在知识冲突。如果它们一致支持弃权，则表明知识不足。这实现了可解释的、最先进的弃权可靠性改进，在生成不可靠响应之前就加以阻止。

对比总结表

技术	最适合	核心优势	结论
验证链（CoVe）	开放式生成、传记	通过提示实现强大的自我修正	必须使用的基线提示策略。
RAG（双重策略）	问答、知识密集型任务	将输出锚定在外部可验证事实中	对于需要最新或冷门知识的任务至关重要。
"慢思考"（树搜索）	复杂推理、多步骤问题	探索多种路径以提高准确性	当准确性至关重要且延迟要求不高时最佳。
对比解码（DeCoRe、HICD）	摘要、上下文补全	无需训练或额外模型，影响显著	针对上下文忠实性的顶级纯推理解决方案。
心理学引导编辑	通用知识、TruthfulQA	减少多种幻觉类型	一个有望实现整体改进的研究方向。
选择性弃权（Seal）	风险规避应用、医疗保健	了解自身局限以避免错误	当错误答案风险极高时至关重要。
因果弃权（ABCA）	主动可靠性、知识冲突	在错误发生前加以阻止	最大化可靠性的最先进方法。

我们如何选择

这七种技术的选择基于以下标准：有效性，通过标准基准测试的实证结果证明；创新性，突出新颖且独特的减少幻觉机制；来源权威性，优先选择来自ACL、EMNLP、AAAI等顶级会议和知名研究机构的同行评审论文；以及实用性，评估技术对开发者的适用性，从简单的提示到更复杂的系统设计。

核心要点

如何减少大语言模型幻觉是一个需要多管齐下的复杂挑战。对于大多数开发者来说，从RAG和验证链（CoVe）入手可以提供强大、快速实施的防御。对于要求最高可靠性的应用，考虑实施对比解码方法（如DeCoRe） 或探索选择性弃权（Seal），以确保你的模型知道何时说"我不知道"。

来源

1. Kadotani, S., Nishida, K., & Nishida, K. (2025). 从幻觉中学习：通过内部表示干预缓解大语言模型幻觉。ACL发现：IJCNLP 2025。
2. Cheng, X., Li, J., Zhao, W. X., & Wen, J.-R. (2025). 多思考，少幻觉：通过快慢思考的双重过程缓解幻觉。ACL发现：ACL 2025。
3. Hu, W., Zhang, W., Jiang, Y., Zhang, C. J., Wei, X., & Qing, L. (2025). 消除幻觉上的幻觉：辩论增强型RAG。第63届ACL年会论文集（第1卷：长论文）。
4. Gema, A. P., Jin, C., Abdulaal, A., Diethe, T., Teare, P., Alex, B., Minervini, P., & Saseendran, A. (2025). DeCoRe：通过对比检索头进行解码以缓解幻觉。ACL发现：EMNLP 2025。
5. Chen, L., Wu, X., Xiong, Z., & Kang, X. (2025). 两阶段心理学引导的细粒度编辑与采样方法缓解大语言模型幻觉。认知科学学会年会论文集。
6. Dhuliawala, S., 等 (Meta AI) (2023). 验证链减少大语言模型幻觉。
7. Lv, J., Li, Z., Gan, J., Ren, W., Chen, S., & Wang, J. (2026). 用于大语言模型异常恢复的双重策略检索增强生成。模式识别。ScienceDirect。
8. Huang, L., Feng, X., Ma, W., 等 (2025). 通过选择性弃权学习缓解大语言模型知识错位引起的幻觉。第63届ACL年会论文集（第1卷：长论文）。
9. Nguyen, V., 等 (2025). 多思考，少幻觉：基于方面的因果弃权用于大语言模型。AAAI 2026。arXiv:2511.17170。
10. Kumar, A., Kim, H., Nathani, J. S., & Roy, N. (2025). 提高大语言模型的可靠性：结合思维链推理与检索增强生成。arXiv:2505.09031。
11. Jiang, X., Ye, H., Zhu, Y., Zheng, X., Chen, Z., & Gong, J. (2025). HICD：通过注意力分散诱导幻觉进行对比解码以缓解大语言模型幻觉。ACL发现：ACL 2025。

— Editorial Team