# Ingénierie inverse du TiinyAI Pocket Lab : L'architecture réelle derrière le battage marketing
Un chercheur, en s'appuyant sur des images et rendus marketing du TiinyAI Pocket Lab, a identifié la configuration matérielle réelle de l'appareil. L'entreprise prétend qu'il peut exécuter des modèles jusqu'à 120 milliards de paramètres à 20 tokens/s pour 1299 $, mais l'analyse révèle une mémoire divisée et des performances limitées. L'appareil se connecte via USB-C à un hôte et associe un SoC à un NPU externe.
Identification des composants clés
Le SoC du Pocket Lab est le CIX P1 (CD8180) de CIX Technology. Caractéristiques :
- 12 cœurs Armv9.2 ;
- NPU intégré à 30 TOPS ;
- Support de LPDDR5X 128 bits ;
- PCIe Gen4 x4 via M.2 ;
- Procédé TSMC 6 nm.
Cette puce gère les tâches générales et l'IA de base, et elle est déjà utilisée dans des mini-PC. Le NPU discret à 160 TOPS est sur un module M.2 avec deux puces, probablement basées sur le VIP9400 (80 TOPS par cœur) de VeriSilicon. La pile logicielle inclut ACUITY et TIM-VX, ce qui explique le format de modèle propriétaire de Tiiny.
La mémoire totale est de 80 GB LPDDR5X, mais elle est divisée : 32 GB pour le SoC et 48 GB pour le dNPU. Les pools sont liés via PCIe Gen4 x4 (8 GB/s théoriques, 6–7 GB/s en pratique), créant un goulot d'étranglement pour l'inférence LLM. La bande passante mémoire locale est d'environ 100 GB/s de chaque côté, mais le trafic inter-composants est limité par le bus.
Problèmes de performances et allégations marketing
Les 190 TOPS revendiqués correspondent à la somme de 30 TOPS (SoC) + 160 TOPS (dNPU). Le modèle GPT-OSS-120B (INT4) ne tient pas dans les 48 GB du dNPU, nécessitant des transferts d'activations via PCIe. Le fichier de modèle gpt_oss_120b_layer_27_36.q4_0_4x64.gguf indique une segmentation statique des couches entre SoC et NPU.
TiinyAI s'appuie sur PowerInfer pour le décodage spéculatif des neurones « chauds »/« froids » et TurboSparse. Les modèles démontrés sont des MoE à faible densité active (3–8 milliards de paramètres par jeton) :
- Qwen3-Coder-Next 80B 3B MoE ;
- GLM-4.7-Flash 30B ~3B MoE ;
- Qwen3-30B-A3B 30B 3B MoE ;
- GPT-OSS-20B 21B 3.6B MoE ;
- Qwen3-8B 8B 8B.
Les benchmarks utilisent des contextes courts (32 jetons) pour atteindre un pic de 20 tok/s. Sous des charges réelles :
| Contexte | Tokens/s |
|----------|----------|
| 8K | 12 |
| 16K | 9 |
| 32K | 6 |
| 64K | 4,47 |
Le temps pour le premier jeton est élevé, ce qui est critique pour RAG et les agents. Comparaison : RTX 4060 Ti (~400 $) délivre 70–90 tok/s sur un MoE 3B à plus de 100K de contexte contre 6–12 tok/s sur Pocket Lab à 8–32K.
Architecture et mode de fonctionnement
Le Pocket Lab n'est pas un PC autonome — c'est un périphérique USB-C avec Linux sur SoC ARM. L'hôte gère l'interface utilisateur, le chargement des modèles et le réseau ; l'appareil fournit une API compatible OpenAI via un adaptateur réseau virtuel. Le SSD NVMe 1 TB avec AES-256 est standard, pas « de niveau bancaire ».
Configuration complète :
- SoC CIX P1 + 32 GB LPDDR5X ;
- M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X ;
- Pont PCIe Gen4 x4 ;
- SSD NVMe 1 TB ;
- Logiciel propriétaire avec format Tiiny.
Points clés
- La mémoire divisée limite l'inférence sur les gros modèles en raison du goulot d'étranglement PCIe ;
- Les 120B@20t/s revendiqués ne sont pas atteignables pour les modèles denses ; la réalité concerne les MoE à faible activité ;
- L'appareil dépend de l'hôte, mais est présenté comme un « superordinateur » ;
- Les composants sont réels (CIX P1, IP VeriSilicon), mais les performances ne suivent pas le hype ;
- Manque de transparence de l'entreprise : infos minimales sur l'équipe, liens avec la Chine malgré enregistrement aux États-Unis.
— Editorial Team
Aucun commentaire pour le moment.