Qwen 3.5 397B auf iPhone 17 Pro: Flash-MoE

Qwen 3.5 mit 397 Milliarden Parametern auf iPhone 17 Pro ausführen mit Flash-MoE und externer SSD

Das iPhone 17 Pro hat erfolgreich das MoE-Modell Qwen3.5-397B-A17B mit 397 Milliarden Parametern ausgeführt. Dies wurde durch Streaming-Laden der Gewichte von einer externen SSD über Flash-MoE erreicht. Die Inferenzgeschwindigkeit betrug 0,6 Token/s und demonstriert die grundsätzliche Machbarkeit des Ausführens massiver Modelle auf Mobilgeräten.

MoE-Architektur und Speicheranforderungen

Qwen3.5-397B-A17B nutzt Mixture of Experts (MoE), wobei pro Token nur ein Teilmenge der Parameter aktiviert wird. Gesamtvolumen: 397 Milliarden Parameter – aber mit 4-Bit-Quantisierung benötigt es etwa 200 GB zum Speichern der Gewichte. Das iPhone 17 Pro verfügt über 12 GB RAM, was ohne spezielle Techniken nicht ausreicht.

Flash-MoE löst das Problem durch Streaming-Laden der Gewichte direkt auf die GPU. Dadurch werden RAM-Einschränkungen umgangen, indem der Speicher auf eine externe SSD ausgelagert wird. Ohne eine solche Optimierung startet das Modell nicht einmal bei aggressiver Kompression.

Testergebnisse auf verschiedenen Plattformen

| Gerät | RAM | Inferenzgeschwindigkeit (Token/s) |

|---------------------|------|-----------------------------------|

| iPhone 17 Pro | 12 GB | 0,6 |

| MacBook Pro M3 Max | 48 GB | 4,3 |

Auf dem iPhone dauert die Generierung eines Tokens 1,7 Sekunden (ca. 2–3 Sekunden pro Wort). Die Tests haben die Funktionalität bestätigt, aber die Geschwindigkeit ist für den produktiven Einsatz unakzeptabel. Die Entwickler haben Code verwendet, der von Claude generiert wurde, sowie sanfte 4-Bit-Quantisierung.

Optimierungspotenziale

Das Projekt zielt nicht auf praktische Anwendbarkeit ab, sondern dient als Proof-of-Concept. Weitere Optimierungen könnten umfassen:

• Verbesserte Quantisierung (z. B. 2-Bit oder AWQ).
• Paralleles Laden der Gewichte.
• Zwischenspeichern häufig genutzter MoE-Experten.
• Integration mit Metal Performance Shaders für iOS.

• Anpassung an die A18 Pro NPU im iPhone 17 Pro.

Solche Maßnahmen könnten die Inferenzgeschwindigkeit potenziell um das 5–10-Fache steigern, ohne Qualitätsverluste.

Wichtige Erkenntnisse

• Flash-MoE ermöglicht das Ausführen von 397B-Modellen auf Geräten mit 12 GB RAM über Streaming von einer SSD.
• Die MoE-Architektur reduziert die Rechenlast, indem ~17B Parameter pro Schritt aktiviert werden.
• Ausgangsgeschwindigkeit 0,6 Token/s auf iPhone; 4,3 Token/s auf M3 Max – Referenzwert für Optimierungen.
• Der Test unterstreicht den Wandel hin zu Edge-Inferenz für massive LLMs auf Verbrauchergeräten.
• Testcode basierend auf Claude; 4-Bit-Quantisierung ohne wesentliche Artefakte.

Diese Technologie ebnet den Weg dafür, Frontier-Modelle lokal ohne Cloud auszuführen, wodurch Latenz minimiert und Datenschutz gewährleistet wird.

— Editorial Team