按标签查看文章: sparse-attention

AI 模型提示中的 XML 标签

了解 XML 标签如何在提示中控制 transformer 注意力。比较、代码示例以及针对中高级开发者的模式。使用长上下文优化会话。

ruGPT3XL 带 8k 上下文：稀疏注意力

通过稀疏注意力和微调将 ruGPT3XL 扩展到 8k 令牌。在 gazeta 上 PPL 13.00，Triton/SDPA 优化 ×1.85。开发者指南。