按标签查看文章: ai-compression

TurboQuant：AI 无损 KV-cache 压缩

了解 Google 的 TurboQuant 如何使用 PolarQuant 和 QJL 将 transformer 内存压缩至 3 位。Gemma、Mistral 基准测试。针对 AI 开发者的优化。

LLM 幻觉：数据压缩伪影

通过有损压缩剖析 LLM 幻觉：它们为何发生，如何使用 RAG 和微调最小化。为开发者：香农理论和示例。学习如何处理伪影。

Lila-Leech：10 行代码实现 24D 晶格

使用 44.9 倍压缩在智能手机上部署 4B 模型。无服务器的 Frozen Leech Core 用于边缘 AI。探索代码和 SR/CN 指标。适用于中高级开发者。