用于优化 LLM 成本的 SCALE 框架

SCALE框架：优化大语言模型成本，不牺牲产品价值

部署基于大语言模型的对话助手提升了用户参与度指标，但模型调用成本却超出预算三倍。首席财务官要求建立可持续的支出模型，而用户期望功能保持不变。SCALE框架有助于诊断原因并优化成本，同时保持产品价值。

诊断的基线背景

在优化之前，需确立关键参数：

• 功能类型决定请求特征：对话需要低延迟，检索增强生成需要精确搜索，内容生成需要强大模型。
• 超支来源：模型选择、令牌数量、请求次数、缺乏缓存。
• 盈利模式影响成本可见性：固定订阅隐藏了基于使用量的费用。
• 优化时间范围：快速修复或季度计划。
• 数字价值：留存率或用户终身价值的提升可证明对销售成本的投入是合理的。

目标不是削减成本，而是最大化每美元的价值：从路由到盈利模式。

超支的四大驱动因素

按组件分解成本以进行准确诊断：

• 模型：使用前沿大语言模型处理简单任务（如分类、摘要），而非紧凑模型。
• 令牌：冗长的系统提示、过多的检索增强生成块、完整的多轮上下文。
• 数量：在固定费率盈利模式下，超出计划的每用户请求量。
• 复用：缺乏精确匹配缓存、语义缓存、提示缓存、批处理。

诊断决定优先级：针对混合工作负载的分类器或检索增强生成优化。

SCALE框架：优化杠杆

SCALE是从工程到产品措施的序列。

S — 智能路由

请求分类器分配流量：简单任务使用紧凑模型，复杂任务使用强大模型。路由策略加上质量A/B测试。

C — 上下文与令牌

最小化系统提示，通过排名限制检索增强生成块，在对话中使用滑动窗口或摘要。

A — 架构：缓存与批处理

• 精确匹配缓存用于日志中的热门查询。
• 语义缓存用于类似问题。
• 提示缓存用于静态上下文。
• 批处理API用于离线任务。

指标：缓存命中率。

L — 限制

分层速率限制、按请求类型配额、高成本操作的明确确认用户体验。

E — 经济学

附加功能、积分、活跃用户的按使用量定价、高级层级对重型模型的访问。

季度计划

• 第1-2周：审计提示、响应限制、精确缓存——快速见效。
• 第3-6周：分类器、路由、流量子集的A/B测试。
• 第7-12周：语义缓存、提示缓存、批处理；分析成本曲线以优化盈利模式。

此顺序最小化产品风险。

关键指标

北极星指标：AI用户群价值（留存率、用户终身价值）/ 调用销售成本。

控制指标：

• 混合每请求成本。
• 缓存命中率。
• 低成本路由份额与稳定质量。
• AI的客户满意度/净推荐值。
• AI用户群的留存率。
• 每用户周请求量。

关键要点

• 优化前使用四大驱动因素进行诊断。
• SCALE从低风险措施（路由、上下文）逐步推进到盈利模式。
• 北极星指标作为锚点：价值/销售成本。
• 每一步进行A/B测试以控制质量。
• 季度计划包含快速见效措施。

— Editorial Team