来自 Google 的 TPUv8：用于 AI 训练和推理的两个芯片

谷歌将 TPUv8 分拆为训练和推理两大专用芯片

谷歌宣布，将下一代张量处理单元 TPUv8 战略性地分拆为两条独立产品线：用于模型训练的 TPUv8t 和用于推理的 TPUv8i。这种方法反映了人工智能行业的转变——从通用加速器转向针对特定计算工作负载优化的专用解决方案。目前，正与 Broadcom（训练）和 MediaTek（推理）合作开发，并将与基于 Arm 架构的 Axion 处理器紧密集成。

专业化应对人工智能工作负载日益复杂的挑战

此前，TPU 作为多功能加速器，适用于训练和推理。但随着模型规模扩大，用户查询处理延迟要求趋严，这种一刀切的模式变得低效。正如谷歌首席科学家 Jeff Dean 所言：“针对训练或推理设计专用芯片是合理的。”

TPUv8t（代号 Sunfish）针对大型语言模型的高性能训练进行了优化。它优化了大数据批次、高内存带宽以及集群间的梯度高效分发。同时，TPUv8i（Zebrafish）专注于最小化推理延迟，尤其是在来自 AI 代理和聊天机器人的动态请求场景中。

这种分化带来了：

• 通过剔除冗余功能降低功耗；
• 数据中心机架中更高的芯片密度；
• 简化冷却和电源系统设计；
• 与特定任务软件栈更好的兼容性。

与 Arm 生态系统和第三方软件的集成

新型 TPU 将与 Axion 处理器协同工作——这是谷歌基于 Arm 架构的内部开发。这标志着基础设施组件进一步远离 x86。在片上系统（SoC）层面和通过互连实现集成，确保 CPU 和加速器之间最小延迟。

此外，谷歌正在客户数据中心测试 TPU 部署，而非仅限于自家云基础设施。这为第三方框架如 PyTorch 和 Google 内部解决方案之外的编排工具打开了大门。据基础设施技术总监 Amin Vahdat 称，此举对于吸引不愿被单一供应商生态锁定的大型企业客户至关重要。

扩展与可靠性挑战

运营数十万加速器时，即使微小的制造缺陷也可能导致灾难性后果。正如 Gemini 团队负责人之一 Paul Barham 所述，谷歌曾遭遇硬件故障，导致模型“完全自我毁灭”——训练结果失效却无明显故障迹象。诊断和修复耗时数周。

如今，公司推出自动化测试系统，能在 10 秒内检查数十万芯片。这些系统模拟典型人工智能工作负载，检测计算精度偏差，即使在制造商规格范围内。

扩展关键挑战：

• 芯片开发周期——约三年，而人工智能架构每 6–12 个月演进一次。
• 软件-硬件反馈循环——紧密集成可能阻碍创新，迫使开发者在当前平台“框框内思考”。
• 产能短缺——有限生产量造成瓶颈，尤其面对 Anthropic 和 Meta 的数十亿美元订单。

市场背景与竞争

Nvidia 仍是训练领域的霸主，但推理市场正快速碎片化。来自 Groq、Cerebras、SambaNova 以及如今谷歌的专用解决方案正在涌现。Meta 对 TPUv8i 的兴趣凸显了大公司为降低人工智能服务延迟和服务成本而寻求替代品的趋势。

Anthropic 已获得百万 TPU 访问权，并计划用于高级代理系统。来自阿布扎比的 G42 和 Citadel Securities 也在积极测试该平台。尽管如此，芯片短缺仍令访问受限的小客户沮丧。

重要要点：

• 谷歌将 TPUv8 分拆为两大芯片：TPUv8t（训练）和 TPUv8i（推理）。
• 与 Broadcom 和 MediaTek 合作开发，与基于 Arm 的 Axion 处理器集成。
• 新芯片针对特定工作负载优化，提升数据中心效率。
• 谷歌测试云外 TPU 部署，支持 PyTorch 等框架兼容。
• 关键风险：开发周期、产能短缺以及软件-硬件相互依赖。

— Editorial Team