LLM 幻觉：数据压缩伪影

大语言模型幻觉：从信息论视角看有损压缩伪影

大语言模型本质上是一种有损数据压缩器：预测下一个词元相当于将海量文本语料压缩为模型参数。根据香农定理，预测质量直接决定了压缩比。幻觉发生在解压缩过程中，模型用看似合理但不准确的片段来重建丢失的信息。

预测与压缩的数学基础

从根本上说，大语言模型基于上下文实现下一个词元分布预测。这在数学上等同于算术编码，其中概率预测器最小化每个源熵的比特数。

def predict_next_token(context: str) -> Distribution:
    """词元预测 = 压缩表示的解压缩"""
    pass

模型权重存储了来自训练数据集的压缩知识。增加模型大小会提高比特率，减少损失但无法完全消除。

与JPEG的对比：

| JPEG | 大语言模型 |

|------|-----|

| 大块区域 | 通用模式 |

| 精细细节 | 罕见事实 |

| 边缘伪影 | 幻觉 |

| 质量 1–100% | 参数 7B–405B |

为何大语言模型擅长代码却苦于数学

代码因其严格的语法和重复结构而能高效压缩。像 for i in range(n) 这样的模式几乎无损地保留下来，类似于图像中的大面积均匀区域。

数学则因精确数字的丢失而受损——这些是没有模式的精细细节。例如：

> 17 × 38？
GPT: 646  # 正确

> 1847 × 9283？
GPT: 17,143,301  # 错误，正确答案：17,143,501

罕见组合会导致伪影，类似于JPEG中数字的模糊化。

• 代码： 由于有限的词汇和结构，可压缩性高。
• 数学： 需要精确存储或计算，这在有损方法中无法实现。
• 事实： 罕见事件最先丢失。

温度作为伪影调节器

温度参数控制从分布中采样的方式：

# temperature=0.0: argmax，尖锐伪影
# temperature=0.7: 平衡概率
# temperature=1.5: 噪声，'创造性'
# temperature→∞: 随机性

低温增加确定性但会锁定伪影。高温增加变异性，模糊化损失。

压缩术语下的伪影最小化技术

从压缩视角重新解读大语言模型技术：

• RAG（检索增强生成）： 将无损数据插入上下文，绕过压缩表示。
• 微调： 针对目标领域重新编码并设定优先级。
• 提示工程： 引导解码器到潜在空间中的相关区块。
• RLHF（人类反馈强化学习）： 优化主观质量，类似于音频中的心理声学模型。
• 系统提示： 配置解码器配置文件。

| 技术 | 压缩类比 |

|-----------|---------------------|

| RAG | 无损插入 |

| 微调 | 新编解码器配置文件 |

| 提示 | 在压缩文件中寻址 |

完全消除幻觉的不可能性

当压缩低于数据熵时，伪影是不可避免的。增加模型大小（比特率）或使用外部记忆可以减少损失，但将10 TB数据压缩到70 GB总会留下空白。承诺'完全解决方案'忽视了信息论。

人类记忆是类似的：由于存储限制，虚构用看似合理的细节填补损失。

关键要点

• 根据香农理论，幻觉不是错误，而是有损解压缩的伪影。
• 增加参数可以减少但无法消除损失。
• RAG和微调是局部伪影补偿的工具。
• 代码和模式比确切事实保留得更好。
• 温度调节伪影的可见性，而非其存在。

大语言模型作为人工记忆：对通用模式高效，对细节易漏。基于其压缩本质进行工程化是构建可靠应用的关键。

— Editorial Team