本地 200B 模型：Bonsai 和 TurboQuant

1位权重与KV缓存压缩：迈向本地2000亿+参数模型之路

得益于PrismML的Bonsai 8B和Google Research的TurboQuant技术，在本地运行2000亿+参数的AI模型正成为现实目标。这些技术大幅降低了权重和KV缓存的内存需求，同时保持了可接受的质量。本文分析其原理、基准测试及扩展潜力。

Bonsai 8B：1位权重表示

PrismML已开源发布基于Apache 2.0许可的Bonsai 8B模型。其基础架构为Qwen3-8B密集模型，但所有权重（嵌入层、注意力投影、MLP投影、语言模型头部）均被量化成端到端的1位格式。GGUF文件大小为1.15 GB，而FP16格式为16.38 GB，压缩比达14.2倍。

性能表现：

• M4 Pro：约131 tokens/秒
• RTX 4090：约368 tokens/秒
• iPhone 17 Pro Max：约44 tokens/秒

在RTX 4090上，生成速度比FP16快达6.2倍，能效提升4–5倍。基准测试（6个类别平均分）：70.5（Bonsai）对比79.3（Qwen3 8B）、71.0（Mistral 3 8B）、67.1（Llama 3.1 8B）。尽管压缩极端，质量仍具竞争力。

量化原理：

每个权重为1位（0≈-scale，1≈+scale），每128个权重共享一个FP16缩放因子。实际为1.125位/权重。推理使用内联反量化内核，无需转换为FP16。需要基于自定义内核的llama.cpp和MLX分支。

局限性：完整训练方案未公开，仅提及使用专有数学框架以保留推理能力。

TurboQuant：将KV缓存压缩至3.5位/通道

Google Research提出TurboQuant，用于对KV缓存进行极端量化而无需重新训练模型。目标是最大限度减少推理期间随上下文长度增长的内存占用。

关键结果：

• 3.5位/通道：质量无损（在Google测试中无损失）
• 2.5位/通道：轻微性能下降
• KV缓存内存减少至少6倍

以Qwen3-235B-A22B（128k上下文）为例：

• FP16 KV缓存：23.5 GiB
• TurboQuant 3.5位：约5.1 GiB

仅缓存就节省超过18 GiB。

机制：

• 数据旋转至便于压缩的空间。
• 量化误差补偿以保持计算准确性。

该方法基于数学原理，已在KV缓存上测试验证。

结合方法实现2000亿+模型

结合Bonsai式的1位权重压缩（14.2倍）和TurboQuant的KV缓存压缩，为本地推理开辟了前景。

以Qwen3-235B-A22B计算（bfloat16权重437.7 GiB，128k上下文）：

| 组件 | FP16/bfloat16 | 压缩后 |

|-----------|---------------|------------|

| 权重 | 437.7 GiB | ~30.8 GiB（14.2倍） |

| KV缓存 | 23.5 GiB | ~5.1 GiB（3.5位） |

| 总计 | ~461 GiB | ~36 GiB |

剩余挑战：

• 运行时开销
• 内存带宽限制
• 1位量化向2000亿+参数的扩展性
• 内核集成到上游框架

这种组合改变了边界：服务器级的2350亿参数模型正接近消费级硬件能力。

核心要点

• Bonsai 8B将80亿参数模型的权重压缩至1.15 GB（14.2倍），RTX 4090上速度达368 tokens/秒，质量接近基准80亿模型。
• TurboQuant将KV缓存压缩至3.5位/通道且无质量损失，为2350亿参数模型的128k上下文节省超过18 GiB。
• 结合使用后，2350亿参数模型仅需约36 GiB而非461 GiB——向本地巨型模型迈进了一步。
• 局限性：专有训练细节未公开，需要自定义内核。
• 展望：为中高级开发者开发开源替代方案。

— Editorial Team