按标签查看文章: quantization

TurboQuant：LLM 无损 3 位 KV 缓存

了解 Google TurboQuant 如何将 LLM 的键值缓存压缩至 3 位，提升推理速度 8 倍。在 Gemma/Mistral 上的基准测试，以及在 RAG 中的应用。面向开发者。

Lila-Leech：10 行代码实现 24D 晶格

使用 44.9 倍压缩在智能手机上部署 4B 模型。无服务器的 Frozen Leech Core 用于边缘 AI。探索代码和 SR/CN 指标。适用于中高级开发者。