Qwen 3.5 397B en iPhone 17 Pro: Flash-MoE

# Ejecutando Qwen 3.5 con 397 mil millones de parámetros en iPhone 17 Pro usando Flash-MoE y SSD externo

El iPhone 17 Pro ejecutó con éxito el modelo MoE Qwen3.5-397B-A17B con 397 mil millones de parámetros. Esto se logró mediante la carga de pesos en streaming desde un SSD externo vía Flash-MoE. La velocidad de inferencia alcanzó 0.6 tokens/s, demostrando la viabilidad fundamental de ejecutar modelos masivos en dispositivos móviles.

Arquitectura MoE y Requisitos de Memoria

Qwen3.5-397B-A17B utiliza Mixture of Experts (MoE), donde solo se activa un subconjunto de parámetros por token. Volumen total: 397 mil millones de parámetros, pero con cuantización de 4 bits requiere unos 200 GB para almacenar los pesos. El iPhone 17 Pro tiene 12 GB de RAM, lo que no es suficiente sin técnicas especiales.

Flash-MoE resuelve el problema con carga de pesos en streaming directamente a la GPU. Esto evita las limitaciones de RAM al delegar el almacenamiento en un SSD externo. Sin esta optimización, el modelo no se inicia ni siquiera con compresión agresiva.

Resultados de Pruebas en Diferentes Plataformas

| Dispositivo | RAM | Velocidad de inferencia (tokens/s) |

|-------------------|------|------------------------------------|

| iPhone 17 Pro | 12 GB | 0.6 |

| MacBook Pro M3 Max | 48 GB | 4.3 |

En el iPhone, generar un token toma 1,7 segundos (aproximadamente 2–3 segundos por palabra). Las pruebas confirmaron la funcionalidad, pero la velocidad es inaceptable para producción. Los desarrolladores usaron código generado por Claude y cuantización suave de 4 bits.

Oportunidades de Optimización

El proyecto no busca un uso práctico, sino que sirve como prueba de concepto. Una optimización adicional podría incluir:

• Cuantización mejorada (p. ej., de 2 bits o AWQ).
• Carga paralela de pesos.
• Almacenamiento en caché de expertos MoE usados con frecuencia.
• Integración con Metal Performance Shaders para iOS.

• Adaptación para el NPU A18 Pro en iPhone 17 Pro.

Estos pasos podrían acelerar la inferencia hasta 5–10 veces sin pérdida de calidad.

Lecciones Principales

• Flash-MoE permite ejecutar modelos de 397 mil millones en dispositivos con 12 GB de RAM mediante streaming desde SSD.
• La arquitectura MoE reduce la carga computacional activando ~17 mil millones de parámetros por paso.
• Velocidad base de 0.6 t/s en iPhone; 4.3 t/s en M3 Max: referencia para optimizaciones.
• La prueba resalta el cambio hacia inferencia en el borde para LLMs masivos en dispositivos de consumo.
• Código de prueba basado en Claude; cuantización de 4 bits sin artefactos importantes.

Esta tecnología abre el camino para ejecutar modelos de vanguardia de forma local sin la nube, minimizando la latencia y garantizando la privacidad de los datos.

— Editorial Team