按标签查看文章: llm-optimization

针对技术写作微调 AI：失败后的经验教训 | IT Practice

如何为技术内容个性化语言模型。微调、超参数调整和质量评估的实用步骤。学习如何避免失败。

Meta-Harness 比工程师更好地优化 LLM

Meta-Harness 系统通过访问 1000 万个 tokens 自动化 LLM harness。结果：在分类上 +7.7 pp，TerminalBench-2 排名第一。为您的项目探索详情。

TurboQuant：AI 无损 KV-cache 压缩

了解 Google 的 TurboQuant 如何使用 PolarQuant 和 QJL 将 transformer 内存压缩至 3 位。Gemma、Mistral 基准测试。针对 AI 开发者的优化。

TurboQuant：LLM 无损 3 位 KV 缓存

了解 Google TurboQuant 如何将 LLM 的键值缓存压缩至 3 位，提升推理速度 8 倍。在 Gemma/Mistral 上的基准测试，以及在 RAG 中的应用。面向开发者。

Toolc：VS Code 中的 MCP 代理 — 节省 60%

使用 Go 上的 toolc 优化 VS Code 代理的 MCP 服务器。令牌减少高达 60%，模型基准测试。安装并测试节省。

Caveman LLM：令牌节省高达 87%

了解 caveman 风格如何将 LLM 令牌平均减少 65%，同时保持准确性。基准测试、代码示例和开发者 caveman 工具。立即优化 API 请求。

用于优化 LLM 成本的 SCALE 框架

SCALE Framework 将 AI 功能预算超支减少 3 倍，无留存损失。驱动因素诊断、智能路由、缓存、指标。为 PM 和 DevOps 提供说明。

将 AI 成本降至 $20/月：MiniMax 和路由

了解如何将 LLM 成本从 $200 优化至 $20/月。MiniMax 订阅、Kimi K2.5、级联路由。真实基准测试和生产代理设置。自己试试

AI 代理的双进程架构

如何将 AI 分割成「意识」和「反射」以实现 16 ms 响应。技术实现、基准测试、集成到 UE5/Unity。