## Faire tourner Qwen 3.5 avec 397 milliards de paramètres sur iPhone 17 Pro grâce à Flash-MoE et SSD externe
L'iPhone 17 Pro a réussi à exécuter le modèle MoE Qwen3.5-397B-A17B comptant 397 milliards de paramètres. Cela a été réalisé grâce au chargement en streaming des poids depuis un SSD externe via Flash-MoE. La vitesse d'inférence a atteint 0,6 token/s, démontrant la faisabilité fondamentale d'exécuter des modèles massifs sur des appareils mobiles.
Architecture MoE et besoins en mémoire
Qwen3.5-397B-A17B utilise Mixture of Experts (MoE), où seuls un sous-ensemble de paramètres est activé par token. Volume total — 397 milliards de paramètres — mais avec une quantification 4 bits, il nécessite environ 200 Go pour stocker les poids. L'iPhone 17 Pro dispose de 12 Go de RAM, ce qui n'est pas suffisant sans techniques spéciales.
Flash-MoE résout le problème avec un chargement en streaming des poids directement vers le GPU. Cela contourne les limitations de la RAM en déchargeant le stockage sur un SSD externe. Sans une telle optimisation, le modèle ne se lance même pas avec une compression agressive.
Résultats des tests sur différentes plateformes
| Appareil | RAM | Vitesse d'inférence (tokens/s) |
|-----------------------|-------|--------------------------------|
| iPhone 17 Pro | 12 Go | 0,6 |
| MacBook Pro M3 Max | 48 Go | 4,3 |
Sur l'iPhone, générer un token prend 1,7 seconde (environ 2–3 secondes par mot). Les tests ont confirmé le fonctionnement, mais la vitesse est inacceptable pour une utilisation en production. Les développeurs ont utilisé du code généré par Claude et une quantification 4 bits douce.
Opportunités d'optimisation
Le projet n'est pas destiné à un usage pratique mais sert de preuve de concept. Une optimisation supplémentaire pourrait inclure :
- Amélioration de la quantification (p. ex., 2 bits ou AWQ).
- Chargement parallèle des poids.
- Mise en cache des experts MoE fréquemment utilisés.
- Intégration avec Metal Performance Shaders pour iOS.
- Adaptation pour le NPU A18 Pro de l'iPhone 17 Pro.
Ces étapes pourraient potentiellement accélérer l'inférence de 5–10 fois sans perte de qualité.
Points clés
- Flash-MoE permet d'exécuter des modèles 397B sur des appareils dotés de 12 Go de RAM via streaming depuis un SSD.
- L'architecture MoE réduit la charge de calcul en activant ~17B paramètres par étape.
- Vitesse de base 0,6 t/s sur iPhone ; 4,3 t/s sur M3 Max — référence pour les optimisations.
- Le test met en lumière le passage vers l'inférence en périphérie pour les LLM massifs sur appareils grand public.
- Code de test basé sur Claude ; quantification 4 bits sans artefacts majeurs.
Cette technologie pave la voie pour exécuter localement des modèles de pointe sans le cloud, en minimisant la latence et en garantissant la confidentialité des données.
— Editorial Team
Aucun commentaire pour le moment.