按标签查看文章: kv-cache

TurboQuant：AI 无损 KV-cache 压缩

了解 Google 的 TurboQuant 如何使用 PolarQuant 和 QJL 将 transformer 内存压缩至 3 位。Gemma、Mistral 基准测试。针对 AI 开发者的优化。

TurboQuant：LLM 无损 3 位 KV 缓存

了解 Google TurboQuant 如何将 LLM 的键值缓存压缩至 3 位，提升推理速度 8 倍。在 Gemma/Mistral 上的基准测试，以及在 RAG 中的应用。面向开发者。

提示缓存 LLM：KV 缓存便宜 10 倍

提示缓存详解：OpenAI 和 Anthropic 如何缓存 KV attention 以降低成本和延迟。开发者的技术细节，推理示例。加速您的 LLM 查询。

本地 AI 代理中的文件访问：工具

本地 AI 代理文件访问的实现：权限关卡、自动验证、修复 KV-cache 错误。为开发者提供的的技术细节。研究架构。

本地 200B 模型：Bonsai 和 TurboQuant

1-bit 权重 Bonsai 8B 和 KV-cache 压缩 TurboQuant 的详解。权重内存减少 14 倍，缓存 6 倍。针对 235B 模型的计算。了解如何本地运行巨型模型。

TurboQuant：LLM KV-cache 6 倍压缩

拆解 Google 的 TurboQuant：PolarQuant + QJL 实现 6 倍 KV-cache 压缩，无精度损失。推理加速高达 8 倍。基准测试、LLM 开发者操作原理。