iPhone 上的 Gemini 蒸馏：详情

# 为 Apple 设备上的设备端 AI 蒸馏 Gemini

苹果正在整合 Google 的 Gemini 能力，不仅通过云端查询，还通过将模型蒸馏后在 iPhone 上运行。访问 Gemini 的内部计算，能创建紧凑版本，这些版本模仿原始模型 1.2 万亿参数的思维链，从而降低资源需求而不失核心逻辑。

模型蒸馏机制

蒸馏过程是将紧凑的“学生模型”在“教师模型”（完整 Gemini）的数据上进行训练。苹果获取的不仅是现成答案，还有完整的思维链，这对保持质量至关重要。这个学生模型能在本地复现 Gemini 的复杂推理，仅需少量计算。

过程包括：

• 访问中间计算：不是 API 响应，而是内部张量和激活。
• 模仿思维链：学生模型学会重复思考步骤序列。
• 参数压缩：从 1.2 万亿缩减到适合 iPhone NPU 的大小。

尽管高效，此方法并非完美：Gemini 的专长（如多模态）并不总与 Siri 任务匹配。需要微调以适应语音助手和数据隐私。

Apple 的策略：设备端推理

Apple 专注本地 AI 处理，尽量减少云端调用。蒸馏后的 Gemini 模型融入 Apple Intelligence，让 Siri 获得自主性。这符合其隐私政策——数据永不离开设备。

测试包括：

• iOS 27 的独立 Siri 应用。
• 增强的 Ask Siri 功能。
• 融入 6 月 8 日的 WWDC 演示。

Apple Foundation Models 团队也在并行开发自有方案。目标尚不明朗：可能是通用模型，或针对 Apple Silicon 硬件优化的细分模型。

技术挑战与前景

蒸馏需平衡模型大小与性能。iPhone Neural Engine（NPU）峰值 35 TOPS，能处理几亿参数模型，但 Gemini 思维链会增加开销。优化包括量化与剪枝。

潜力：

• 提升 Siri 在 Gemini 擅长的领域（如编程、分析）。
• 混合模式：本地模型 + 云端备用。
• 扩展到其他设备（iPad、Mac）。

自研模型可减少对 Google 依赖，但蒸馏能加速部署。

关键点

• Apple 使用 Gemini 内部计算进行蒸馏，而非仅 API。
• 紧凑模型复制思维链，在 iPhone 本地运行。
• Siri 将在 iOS 27 获设备端 AI，WWDC 6 月 8 日演示。
• 因模型专长不匹配，需微调。
• 策略强调隐私，避免云端查询。

— Editorial Team