TinyStories 上的 Induction Heads：弱形成

TinyStories 数据集下语言模型的归纳头被抑制

在 TinyStories 数据集（4.73 亿 token）上，GPT-2 Small（1.24 亿参数）早期层可靠形成前一 token 头，L0H3 得分达 0.20。归纳头仅弱势出现——L6H4 最高 0.05，在 1.6 万步峰值后衰减。第 6 层稀疏自编码器（SAE）确认无纯归纳特征。

实验方法隔离数据复杂度影响：模型从零用 PyTorch 训练，SAE 将 768 维扩展至 8192 维，L1 系数 3.9，历经 25 个 epoch。自实现 compute_induction_score 和 compute_previous_token_score 指标。

前一 token 头的形成

前一 token 头集中在 0–4 层。L0H3 从 1.4 万步起稳定在 0.20。动态在训练末（2 万步，约 5.5 epoch）稳定。

各层头分布：

• L0H3: 0.20（最高）
• 0–4 层：主导值
• 后期层：贡献微弱

这揭示下一 token 预测的核心机制，与数据复杂度无关。

归纳头分析

归纳头未充分发展：L6H4 在 1.5–1.6 万步峰值 0.0537 后下降。无头超 0.05，与 TinyStories 低重复率一致。

关键观察：

• 中层（L6）峰值。
• 无稳定平台——表明不稳。
• 较前一 token 头：得分低 4 倍。

假设：数据集简单使归纳机制冗余，无法最小化损失。

稀疏自编码器结果

SAE 训练于第 6 层激活（L6H4）。每 token 活跃特征：20–35。死特征：~3%（8192 中 228 个），归功 L1 正则。

两大主导特征：

• F#8107：句法可预测上下文，在首 token 激活（与重复差异：0.04–0.12）。
• F#635：可预测位置的通用上下文模式。

未检测纯归纳特征——证实弱得分。

数据集对机制的影响

TinyStories 不促成上下文学习：模型靠前一 token 头实现低损失。在复杂数据集（如 OpenWebText），频繁重复将催生归纳机制。

后续测试计划：

• TPU 上不同规模模型。
• TinyStories vs. OpenWebText 对比。
• 度量数据统计依赖。

关键结论

• 前一 token 头普遍形成（早期层 ~0.20）。
• 简单数据上归纳头弱（最高 0.05，不稳）。
• SAE 有效：20–35 活跃特征，3% 死特征。
• 无纯归纳特征——F#8107/635 系句法/上下文。
• 假设：数据集复杂度驱动上下文学习发展。

— Editorial Team