# Reverzní inženýrství TiinyAI Pocket Lab: reálná architektura za marketingovými sliby
Výzkumník na základě marketingových obrázků a renderů TiinyAI Pocket Lab určil skutečnou hardwarovou konfiguraci zařízení. Společnost tvrdí spouštění modelů až s 120B parametry na 20 tokenů/s za cenu $1299, ale analýza odhaluje rozdělenou paměť a omezený výkon. Zařízení se připojuje přes USB-C k hostiteli a využívá kombinaci SoC a externího NPU.
Identifikace klíčových komponent
SoC v Pocket Lab je CIX P1 (CD8180) od CIX Technology. Specifikace:
- 12 jader Armv9.2;
- Vestavěný NPU na 30 TOPS;
- Podpora 128bit LPDDR5X;
- PCIe Gen4 x4 přes M.2;
- Technologický proces TSMC 6 nm.
Tento čip je vhodný pro obecné úlohy a základní AI, již se používá v mini-PC. Discretní NPU na 160 TOPS je realizován na M.2 modulu se dvěma krystaly, pravděpodobně na bázi VIP9400 od VeriSilicon (80 TOPS na jádro). Softwarový stack zahrnuje ACUITY a TIM-VX, což vysvětluje proprietární formát modelů Tiiny.
Celkový objem paměti je 80 GB LPDDR5X, ale rozdělený: 32 GB pro SoC a 48 GB pro dNPU. Paměťové puly jsou propojeny PCIe Gen4 x4 (teoreticky 8 GB/s, reálně 6–7 GB/s), což vytváří úzké hrdlo pro výstup LLM. Lokální propustnost paměti ~100 GB/s na stranu, ale provoz mezi komponenty je omezen sběrnicí.
Problémy s výkonem a marketingem
Prohlášených 190 TOPS je součet 30 TOPS (SoC) + 160 TOPS (dNPU). Model GPT-OSS-120B (INT4) se nevejde do 48 GB dNPU, vyžaduje přenos aktivací přes PCIe. Soubor modelu gpt_oss_120b_layer_27_36.q4_0_4x64.gguf naznačuje statické segmentování vrstev mezi SoC a NPU.
TiinyAI spoléhá na PowerInfer pro spekulativní dekódování „horkých“/„studených“ neuronů a TurboSparse. Demonstrované modely jsou MoE s nízkou aktivní hustotou (3–8B parametrů na token):
- Qwen3-Coder-Next 80B 3B MoE;
- GLM-4.7-Flash 30B ~3B MoE;
- Qwen3-30B-A3B 30B 3B MoE;
- GPT-OSS-20B 21B 3.6B MoE;
- Qwen3-8B 8B 8B.
Benchmarky využívají krátké kontexty (32 tokenů) pro špičkových 20 tok/s. Při reálných zátěžích:
| Kontext | Tokenů/s |
|---------|----------|
| 8K | 12 |
| 16K | 9 |
| 32K | 6 |
| 64K | 4.47 |
Doba do prvního tokenu je vysoká, což je kritické pro RAG a agenty. Srovnání: RTX 4060 Ti (~$400) dosahuje 70–90 tok/s na MoE 3B při kontextu 100K+ oproti 6–12 tok/s u Pocket Lab na 8–32K.
Architektura a režim provozu
Pocket Lab není autonomický PC, ale USB-C periferie s Linuxem na ARM SoC. Hostitel řídí UI, načítání modelů a síť; zařízení poskytuje OpenAI-kompatibilní API přes virtuální síťový adaptér. SSD 1 TB NVMe s AES-256 je standard, ne „bankovní úroveň“.
Kompletní konfigurace:
- SoC CIX P1 + 32 GB LPDDR5X;
- M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X;
- PCIe Gen4 x4 most;
- 1 TB NVMe SSD;
- Proprietární software s Tiiny formátem.
Co je důležité
- Rozdělená paměť omezuje inference velkých modelů kvůli PCIe úzkému hrdlu;
- Prohlášené 120B@20t/s nejsou dosažitelné pro husté modely; realita – MoE s nízkou aktivitou;
- Zařízení závisí na hostiteli, pozicionováno jako „superačítář“;
- Komponenty jsou reálné (CIX P1, VeriSilicon IP), ale výkon neodpovídá humbuku;
- Chybí transparentnost ve společnosti: minimum informací o týmu, vazby na Čínu při registraci v USA.
— Editorial Team
Zatím žádné komentáře.