Spuštění Qwen 3.5 s 397 miliardami parametrů na iPhone 17 Pro prostřednictvím Flash-MoE a externího SSD
iPhone 17 Pro zvládl spuštění MoE modelu Qwen3.5-397B-A17B s 397 miliardami parametrů. Pro tento účel bylo použito streamové načítání vah z externího SSD pomocí Flash-MoE. Rychlost inferování dosáhla 0,6 tokenu/s, což demonstruje zásadní možnost práce s gigantickými modely na mobilních zařízeních.
Architektura MoE a požadavky na paměť
Qwen3.5-397B-A17B využívá Mixture of Experts (MoE), kde se na každém tokenu aktivuje pouze podmnožina parametrů. Celkový objem činí 397 miliard parametrů, ale s 4bitovým kvantováním je potřeba asi 200 GB na uložení vah. iPhone 17 Pro má 12 GB RAM, což nestačí bez speciálních technik.
Flash-MoE řeší problém streamovým načítáním vah přímo na GPU. To umožňuje obejít omezení RAM tím, že přenáší úložiště na externí SSD. Bez takové optimalizace by se model nespustil ani s agresivním stlačením.
Výsledky testů na různých platformách
| Zařízení | RAM | Rychlost inferování (tokenů/s) |
|----------|-----|-------------------------------|
| iPhone 17 Pro | 12 GB | 0,6 |
| MacBook Pro M3 Max | 48 GB | 4,3 |
Na iPhone generování jednoho tokenu trvá 1,7 sekundy (přibližně 2–3 sekundy na slovo). Testy potvrdily funkčnost, ale rychlost je nepřijatelná pro produkční použití. Vývojáři použili kód generovaný Claude a šetrné 4bitové kvantování.
Možnosti optimalizace
Projekt není zaměřen na praktické použití, ale slouží jako proof-of-concept. Další optimalizace by mohla zahrnovat:
- Vylepšené kvantování (např. 2bitové nebo AWQ).
- Paralelizaci načítání vah.
- Cachérování často používaných expertů MoE.
- Integraci s Metal Performance Shaders pro iOS.
- Adaptaci pro A18 Pro NPU v iPhone 17 Pro.
Takové kroky by mohly inferování zrychlit 5–10krát bez ztráty kvality.
Co je důležité
- Flash-MoE umožňuje spouštět 397B modely na zařízeních s 12 GB RAM díky streamovému načítání z SSD.
- MoE architektura snižuje výpočetní zátěž aktivací ~17B parametrů za krok.
- Základní rychlost 0,6 t/s na iPhone; 4,3 t/s na M3 Max — orientační hodnota pro optimalizace.
- Test zdůrazňuje posun k edge inferování gigantických LLM na spotřebitelských zařízeních.
- Kód testů na bázi Claude; kvantování 4bitové bez výrazných artefaktů.
Technologie otevírá cestu pro lokální spouštění frontier modelů bez cloudu, minimalizuje latenci a zajišťuje soukromí dat.
— Editorial Team
Zatím žádné komentáře.