按标签查看文章: turboquant

本地 200B 模型：Bonsai 和 TurboQuant

1-bit 权重 Bonsai 8B 和 KV-cache 压缩 TurboQuant 的详解。权重内存减少 14 倍，缓存 6 倍。针对 235B 模型的计算。了解如何本地运行巨型模型。

TurboQuant：LLM KV-cache 6 倍压缩

拆解 Google 的 TurboQuant：PolarQuant + QJL 实现 6 倍 KV-cache 压缩，无精度损失。推理加速高达 8 倍。基准测试、LLM 开发者操作原理。