Ingeniería Inversa de TiinyAI Pocket Lab: SoC y NPU Revelados

# # Ingeniería inversa del TiinyAI Pocket Lab: La verdadera arquitectura detrás del bombo publicitario

Un investigador, usando imágenes y renders de marketing del TiinyAI Pocket Lab, descubrió la configuración real de hardware del dispositivo. La empresa afirma que puede ejecutar modelos de hasta 120B parámetros a 20 tokens/s por $1299, pero el análisis revela memoria dividida y rendimiento limitado. El dispositivo se conecta vía USB-C a un host y combina un SoC con un NPU externo.

Identificación de componentes clave

El SoC en el Pocket Lab es el CIX P1 (CD8180) de CIX Technology. Especificaciones:

• 12 núcleos Armv9.2;
• NPU integrado a 30 TOPS;
• Soporte para 128-bit LPDDR5X;
• PCIe Gen4 x4 vía M.2;
• Proceso TSMC 6 nm.

Este chip maneja tareas generales y IA básica, y ya se usa en mini-PC. El NPU discreto de 160 TOPS está en un módulo M.2 con dos chips, probablemente basado en el VIP9400 (80 TOPS por núcleo) de VeriSilicon. La pila de software incluye ACUITY y TIM-VX, lo que explica el formato de modelo propietario de Tiiny.

La memoria total es 80 GB LPDDR5X, pero está dividida: 32 GB para el SoC y 48 GB para el dNPU. Los pools están conectados vía PCIe Gen4 x4 (teórico 8 GB/s, real 6–7 GB/s), creando un cuello de botella para la inferencia de LLM. El ancho de banda de memoria local es ~100 GB/s por lado, pero el tráfico entre componentes está limitado por el bus.

Problemas de rendimiento y afirmaciones de marketing

Los 190 TOPS reivindicados son la suma de 30 TOPS (SoC) + 160 TOPS (dNPU). El modelo GPT-OSS-120B (INT4) no cabe en los 48 GB del dNPU, lo que requiere transferencias de activaciones por PCIe. El archivo del modelo gpt_oss_120b_layer_27_36.q4_0_4x64.gguf apunta a una segmentación estática de capas entre SoC y NPU.

TiinyAI depende de PowerInfer para decodificación especulativa de neuronas "calientes"/"frías" y TurboSparse. Los modelos demostrados son MoE con baja densidad activa (3–8B parámetros por token):

• Qwen3-Coder-Next 80B 3B MoE;
• GLM-4.7-Flash 30B ~3B MoE;
• Qwen3-30B-A3B 30B 3B MoE;
• GPT-OSS-20B 21B 3.6B MoE;
• Qwen3-8B 8B 8B.

Los benchmarks usan contextos cortos (32 tokens) para un pico de 20 tok/s. Bajo cargas reales:

| Contexto | Tokens/s |

|----------|----------|

| 8K | 12 |

| 16K | 9 |

| 32K | 6 |

| 64K | 4.47 |

El tiempo hasta el primer token es alto, lo cual es crítico para RAG y agentes. Comparación: RTX 4060 Ti (~$400) entrega 70–90 tok/s en 3B MoE con contexto de 100K+ frente a 6–12 tok/s en Pocket Lab con 8–32K.

Arquitectura y modo de operación

El Pocket Lab no es un PC independiente: es un periférico USB-C con Linux en SoC ARM. El host maneja la interfaz de usuario, carga de modelos y red; el dispositivo proporciona una API compatible con OpenAI vía un adaptador de red virtual. El SSD NVMe de 1 TB con AES-256 es estándar, no "de grado bancario".

Configuración completa:

• SoC CIX P1 + 32 GB LPDDR5X;
• M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X;
• Puente PCIe Gen4 x4;
• SSD NVMe de 1 TB;
• Software propietario con formato Tiiny.

Lecciones clave

• La memoria dividida limita la inferencia en modelos grandes debido al cuello de botella de PCIe;
• Los 120B@20t/s reivindicados no son alcanzables para modelos densos; la realidad son MoE de baja actividad;
• El dispositivo depende del host, pero se comercializa como un "supercomputador";
• Los componentes son reales (CIX P1, IP de VeriSilicon), pero el rendimiento no coincide con el bombo;
• Falta de transparencia de la empresa: información mínima sobre el equipo, lazos con China pese al registro en EE. UU.

— Editorial Team