自训练：为什么有效以及如何避免崩溃

合成数据自训练：成功机制与模型崩溃的临界点

合成数据由模型自身生成，用于进一步训练，以解决真实世界样本不足的问题。自训练通过将数据格式化为最优形式、增加有用信号的密度，以及从教师模型向学生模型蒸馏技能来发挥作用。然而，递归使用会导致模型崩溃——分布范围变窄，罕见事件丢失。

合成数据由算法创建：指令自引导、师生蒸馏、生成带解决方案的任务，以及用相似示例扩展数据集。与模拟不同，重点在于生成模型。

合成数据的优势：

• 结构化格式：清晰的思维链，统一的问答模板。
• 高密度：噪声最小化，单一概念表述的多样性最大化。
• 模式传递：强模型传递解决方案逻辑，而非简单复制文本。

递归风险：模型崩溃如何发生

在生成→训练的闭环中，过程重复进行，类似于复制质量下降的副本。罕见细节被抹去，错误累积，分布向众数方向收窄。

模型崩溃逐渐显现：

• 尾部收缩：罕见案例消失。
• 模板化：响应变得同质化，失去细微差别。
• 虚假信心：合成数据上的指标改善，而真实数据上的指标下降。

转折点：自训练何时失控

危险出现在三种场景中：

场景1：合成数据占主导。 真实数据必须作为锚点——至少占总体积的20–30%。如果合成数据超过70%，与现实世界的联系就会断裂。

场景2：缺乏验证。 没有黄金集和保留数据测试，模型会优化为质量幻觉。

场景3：不可验证的任务。 合成数据在代码（单元测试）、数学（精确匹配）和逻辑（基于规则的检查）方面可靠。在评估性领域，存在自我确认的风险。

| 任务 | 可验证性 | 崩溃风险 |

|--------|------------------|---------------|

| 代码 | 高（测试） | 低 |

| 数学 | 高 | 低 |

| 事实/判断 | 低 | 高 |

生产环境中的退化诊断

在验证集上监控症状：

• 长尾分布尾部困惑度下降。
• 模板化增加：响应余弦相似度>0.8。
• 指标分歧：内部损失减少，外部基准增加。

使用A/B测试：比较带/不带新鲜合成数据的模型与基线在真实任务上的表现。

安全自训练的实用策略

合成数据作为补充是有效的。关键规则：

• 固定真实锚点：每批次中30–50%真实数据，并轮换。
• 严格过滤：

- 困惑度过滤器<阈值。

- 去重（MinHash，Jaccard>0.9）。

- 通过嵌入聚类进行多样性采样。

• 针对性生成：专注于空白——罕见类别、边缘案例、反事实。
• 自动验证：

- 代码：lint + 测试。

- 数学：sympy/eval。

- 事实：内部RAG检查。

通过三重检查有效性：

• 效用：保留数据上的Δ准确度。
• 鲁棒性：尾部损失<基线。
• 成本：每GPU小时的质量增益。

关键要点

• 合成数据加速训练，但需要真实锚点以确保稳定性。
• 模型崩溃始于>70%合成数据且无验证时。
• 过滤和针对性生成在基准测试中将风险降低40–60%。
• 可验证任务（代码、数学）可容忍高达90%的合成数据。

— Editorial Team