Rückentwicklung TiinyAI Pocket Lab: SoC und NPU enthüllt

# # Reverse-Engineering des TiinyAI Pocket Lab: Die echte Architektur hinter dem Marketing-Hype

Ein Forscher hat anhand von Marketing-Bildern und Renderings des TiinyAI Pocket Lab die tatsächliche Hardware-Ausstattung des Geräts rekonstruiert. Das Unternehmen wirbt damit, Modelle bis zu 120B Parametern mit 20 Tokens/s für 1299 $ ausführen zu können, doch die Analyse deckt geteilten Speicher und begrenzte Leistung auf. Das Gerät dockt über USB-C an einen Host an und kombiniert einen SoC mit einem externen NPU.

Wichtige Komponenten identifizieren

Der SoC im Pocket Lab ist der CIX P1 (CD8180) von CIX Technology. Specs:

• 12 Armv9.2-Kerne;
• Integrierter NPU mit 30 TOPS;
• Unterstützung für 128-Bit-LPDDR5X;
• PCIe Gen4 x4 über M.2;
• TSMC 6-nm-Fertigung.

Dieser Chip übernimmt allgemeine Aufgaben und grundlegende KI, und er wird bereits in Mini-PCs eingesetzt. Der diskrete NPU mit 160 TOPS sitzt auf einem M.2-Modul mit zwei Chips, wahrscheinlich basierend auf VeriSilicons VIP9400 (80 TOPS pro Kern). Der Software-Stack umfasst ACUITY und TIM-VX, was Tiinys proprietäres Modellformat erklärt.

Der Gesamtspeicher beträgt 80 GB LPDDR5X, ist aber aufgeteilt: 32 GB für den SoC und 48 GB für den dNPU. Die Speicherpools sind über PCIe Gen4 x4 (theoretisch 8 GB/s, real 6–7 GB/s) verbunden, was bei der LLM-Inferenz zu einem Engpass führt. Die lokale Speicherbandbreite liegt bei ~100 GB/s pro Seite, doch der Datenverkehr zwischen den Komponenten ist durch den Bus eingeschränkt.

Leistungsprobleme und Marketing-Versprechen

Die angepriesenen 190 TOPS ergeben sich aus 30 TOPS (SoC) + 160 TOPS (dNPU). Das GPT-OSS-120B-Modell (INT4) passt nicht in die 48 GB des dNPU und erfordert Aktivierungsübertragungen über PCIe. Die Modell-Datei gpt_oss_120b_layer_27_36.q4_0_4x64.gguf deutet auf statische Schichtverteilung zwischen SoC und NPU hin.

TiinyAI setzt auf PowerInfer für spekulative Dekodierung von „hot“/„cold“-Neuronen und TurboSparse. Die gedemostrierten Modelle sind MoE mit niedriger Aktivitätsdichte (3–8B Parameter pro Token):

• Qwen3-Coder-Next 80B 3B MoE;
• GLM-4.7-Flash 30B ~3B MoE;
• Qwen3-30B-A3B 30B 3B MoE;
• GPT-OSS-20B 21B 3.6B MoE;
• Qwen3-8B 8B 8B.

Benchmarks nutzen kurze Kontexte (32 Tokens) für Spitzenwerte von 20 Tok/s. Bei realen Workloads:

| Kontext | Tokens/s |

|---------|----------|

| 8K | 12 |

| 16K | 9 |

| 32K | 6 |

| 64K | 4.47 |

Die Time-to-first-token ist hoch, was für RAG und Agents entscheidend ist. Vergleich: RTX 4060 Ti (~400 $) liefert 70–90 Tok/s bei 3B MoE mit 100K+ Kontext, gegenüber 6–12 Tok/s beim Pocket Lab bei 8–32K.

Architektur und Betriebsmodus

Das Pocket Lab ist kein eigenständiger PC – es handelt sich um ein USB-C-Peripheriegerät mit Linux auf ARM-SoC. Der Host übernimmt UI, Modellladen und Netzwerk; das Gerät stellt eine OpenAI-kompatible API über einen virtuellen Netzwerkadapter bereit. Der 1-TB-NVMe-SSD mit AES-256 ist Standard, nicht „banktauglich“.

Vollständige Konfiguration:

• SoC CIX P1 + 32 GB LPDDR5X;
• M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X;
• PCIe Gen4 x4-Brücke;
• 1 TB NVMe SSD;
• Proprietäre Software mit Tiiny-Format.

Wichtige Erkenntnisse

• Geteilter Speicher begrenzt die Inferenz bei großen Modellen durch PCIe-Engpass;
• Angepriesene 120B@20t/s nicht erreichbar für dichte Modelle; Realität sind low-activity MoE;
• Gerät abhängig vom Host, wird aber als „Supercomputer“ vermarktet;
• Komponenten echt (CIX P1, VeriSilicon IP), Leistung passt aber nicht zum Hype;
• Mangelnde Transparenz des Unternehmens: minimale Infos zum Team, Verbindungen nach China trotz US-Registrierung.

— Editorial Team