按标签查看文章: attention

提示缓存 LLM：KV 缓存便宜 10 倍

提示缓存详解：OpenAI 和 Anthropic 如何缓存 KV attention 以降低成本和延迟。开发者的技术细节，推理示例。加速您的 LLM 查询。

TinyStories 上的 Induction Heads：弱形成

实验显示 TinyStories 如何在 GPT-2 中抑制 Induction Heads。SAE、指标分析以及与 Previous Token Heads 的比较。研究数据集对模型 ICL 的影响。