按标签查看文章: rugpt3xl

ruGPT3XL 带 8k 上下文：稀疏注意力

通过稀疏注意力和微调将 ruGPT3XL 扩展到 8k 令牌。在 gazeta 上 PPL 13.00，Triton/SDPA 优化 ×1.85。开发者指南。

为 transformers 恢复 ruGPT-3 XL

了解如何将旧版 ruGPT-3 XL 转换为 HF 格式，用于微调和推理。权重结构、自定义类、MERA 基准。开发者指南。