# Uruchomienie Qwen 3.5 z 397 mld parametrów na iPhone 17 Pro dzięki Flash-MoE i zewnętrznemu SSD
iPhone 17 Pro poradził sobie z uruchomieniem modelu MoE Qwen3.5-397B-A17B o 397 mld parametrów. Do tego wykorzystano strumieniowe ładowanie wag z zewnętrznego SSD za pomocą Flash-MoE. Prędkość inferencji wyniosła 0,6 tokena/s, co pokazuje zasadniczą możliwość pracy z gigantycznymi modelami na urządzeniach mobilnych.
Architektura MoE i wymagania pamięciowe
Qwen3.5-397B-A17B wykorzystuje Mixture of Experts (MoE), w którym na każdym tokenie aktywowany jest tylko podzbiór parametrów. Całkowita liczba to 397 mld parametrów, ale z 4-bitową kwantyzacją wymaga około 200 GB na przechowywanie wag. iPhone 17 Pro ma 12 GB RAM, co jest niewystarczające bez specjalnych technik.
Flash-MoE rozwiązuje problem dzięki strumieniowemu ładowaniu wag bezpośrednio na GPU. Pozwala to obejść ograniczenia RAM, przenosząc przechowywanie na zewnętrzny SSD. Bez takiej optymalizacji model nie uruchomi się nawet z agresywnym kompresowaniem.
Wyniki testów na różnych platformach
| Urządzenie | RAM | Prędkość inferencji (tokenów/s) |
|--------------------|------|--------------------------------|
| iPhone 17 Pro | 12 GB | 0,6 |
| MacBook Pro M3 Max | 48 GB | 4,3 |
Na iPhone generowanie jednego tokena zajmuje 1,7 sekundy (około 2–3 sekund na słowo). Testy potwierdziły funkcjonalność, ale prędkość jest nieakceptowalna dla produkcji. Deweloperzy użyli kodu wygenerowanego przez Claude oraz łagodnej 4-bitowej kwantyzacji.
Możliwości optymalizacji
Projekt nie jest nastawiony na praktyczne zastosowanie, lecz służy jako proof-of-concept. Dalsza optymalizacja może obejmować:
- Ulepszoną kwantyzację (np. 2-bitową lub AWQ).
- Paralelizację ładowania wag.
- Buforowanie często używanych ekspertów MoE.
- Integrację z Metal Performance Shaders dla iOS.
- Adaptację pod A18 Pro NPU w iPhone 17 Pro.
Takie kroki potencjalnie przyspieszą inferencję 5–10 razy bez utraty jakości.
Co ważne
- Flash-MoE pozwala uruchamiać modele 397B na urządzeniach z 12 GB RAM dzięki strumieniowemu ładowaniu z SSD.
- Architektura MoE zmniejsza obciążenie obliczeniowe, aktywując ~17B parametrów na krok.
- Bazowa prędkość 0,6 t/s na iPhone; 4,3 t/s na M3 Max — punkt odniesienia dla optymalizacji.
- Test podkreśla przesunięcie ku edge-inferencji gigantycznych LLM na urządzeniach konsumenckich.
- Kod testów oparty na Claude; kwantyzacja 4-bitowa bez znaczących artefaktów.
Technologia otwiera drogę do lokalnego uruchamiania frontier-modeli bez chmury, minimalizując opóźnienia i zapewniając prywatność danych.
— Editorial Team
Brak komentarzy.