iPhone 17 Pro에서 Qwen 3.5 397B: Flash-MoE

iPhone 17 Pro에서 Flash-MoE와 외장 SSD를 사용해 3970억 매개변수 Qwen 3.5 실행하기

iPhone 17 Pro에서 MoE 모델 Qwen3.5-397B-A17B(3970억 매개변수)을 성공적으로 실행했습니다. 이는 Flash-MoE를 통해 외장 SSD에서 스트리밍 가중치 로딩을 사용함으로써 달성된 것입니다. 추론 속도는 0.6 tokens/s에 달했으며, 이는 모바일 기기에서 대형 모델을 실행하는 근본적인 가능성을 입증합니다.

MoE 아키텍처와 메모리 요구 사항

Qwen3.5-397B-A17B는 Mixture of Experts(MoE)를 사용하며, 토큰당 일부 매개변수만 활성화됩니다. 총 규모는 3970억 매개변수지만 4-bit 양자화 시 가중치 저장에 약 200 GB가 필요합니다. iPhone 17 Pro는 12 GB RAM을 탑재하고 있어 특별한 기술 없이는 부족합니다.

Flash-MoE는 GPU로 직접 스트리밍 가중치 로딩으로 이 문제를 해결합니다. 이는 RAM 제한을 우회하며 저장을 외장 SSD로 오프로드합니다. 이러한 최적화 없이는 공격적인 압축을 해도 모델이 실행되지 않습니다.

다양한 플랫폼에서의 테스트 결과

| 기기 | RAM | 추론 속도 (tokens/s) |

|---------------------|------|----------------------|

| iPhone 17 Pro | 12 GB | 0.6 |

| MacBook Pro M3 Max | 48 GB | 4.3 |

iPhone에서는 한 토큰 생성에 1.7초가 소요되며(대략 단어당 2~3초), 테스트를 통해 기능이 확인되었으나 생산 환경에는 속도가 부적합합니다. 개발자들은 Claude가 생성한 코드와 온화한 4-bit 양자화를 사용했습니다.

최적화 가능성

이 프로젝트는 실용적 사용을 목표로 하지 않고 개념 증명을 목적으로 합니다. 추가 최적화로는 다음이 가능합니다:

• 향상된 양자화(예: 2-bit 또는 AWQ).
• 병렬 가중치 로딩.
• 자주 사용되는 MoE 전문가 캐싱.
• iOS용 Metal Performance Shaders 통합.

• iPhone 17 Pro의 A18 Pro NPU 적응.

이러한 단계로 품질 손실 없이 추론 속도를 5~10배 향상시킬 수 있습니다.

주요 요점

• Flash-MoE는 SSD 스트리밍으로 12 GB RAM 기기에서 397B 모델 실행을 가능하게 함.
• MoE 아키텍처는 단계당 ~17B 매개변수만 활성화해 연산 부하 감소.
• iPhone 기준 속도 0.6 t/s; M3 Max 4.3 t/s—최적화 벤치마크.
• 이 테스트는 소비자 기기에서 대형 LLM의 엣지 추론으로의 전환을 강조.
• 테스트 코드는 Claude 기반; 주요 아티팩트 없는 4-bit 양자화.

이 기술은 클라우드 없이 프론티어 모델을 로컬에서 실행하는 길을 열어 지연을 최소화하고 데이터 프라이버시를 보장합니다.

— Editorial Team