Qwen 3.5 397B 在 iPhone 17 Pro 上：Flash-MoE

# 在 iPhone 17 Pro 上使用 Flash-MoE 和外置 SSD 运行 3970 亿参数的 Qwen 3.5

iPhone 17 Pro 成功运行了拥有 3970 亿参数的 MoE 模型 Qwen3.5-397B-A17B。这是借助 Flash-MoE 从外置 SSD 进行流式权重加载实现的。推理速度达到 0.6 tokens/s，证明了在移动设备上运行巨型模型的基本可行性。

MoE 架构和内存需求

Qwen3.5-397B-A17B 采用专家混合（MoE）架构，每个 token 只激活参数子集。总参数量达 3970 亿，但经 4 位量化后，权重存储仍需约 200 GB。iPhone 17 Pro 配备 12 GB RAM，没有特殊技术是远远不够的。

Flash-MoE 通过直接将权重流式加载至 GPU 来解决问题，从而绕过 RAM 限制，将存储卸载至外置 SSD。没有此类优化，即使采用激进压缩，模型也无法启动。

不同平台测试结果

| 设备 | 内存 | 推理速度 (tokens/s) |

|-------------------|-------|---------------------|

| iPhone 17 Pro | 12 GB | 0.6 |

| MacBook Pro M3 Max| 48 GB | 4.3 |

在 iPhone 上，生成一个 token 需要 1.7 秒（大致每词 2–3 秒）。测试确认了功能正常，但速度远不适合生产环境。开发者使用了 Claude 生成的代码，并采用温和的 4 位量化。

优化机会

该项目并非针对实际应用，而是作为概念验证。进一步优化可能包括：

• 改进量化（例如 2 位或 AWQ）。
• 并行权重加载。
• 缓存常用 MoE 专家。
• 与 iOS 的 Metal Performance Shaders 集成。

• 为 iPhone 17 Pro 的 A18 Pro NPU 进行适配。

这些措施有望在不损失质量的情况下，将推理速度提升 5–10 倍。

关键要点

• Flash-MoE 让 12 GB RAM 设备能通过 SSD 流式传输运行 397B 模型。
• MoE 架构通过每步仅激活约 170 亿参数来降低计算负载。
• iPhone 上基准速度 0.6 t/s，M3 Max 上 4.3 t/s——作为优化参考。
• 测试凸显了消费者设备上巨型 LLM 边缘推理的趋势转变。
• 测试代码基于 Claude；4 位量化无明显伪影。

这项技术为本地运行前沿模型开辟道路，无需云端即可降低延迟并保障数据隐私。

— Editorial Team