# Reverse engineering TiinyAI Pocket Lab: prawdziwa architektura za marketingowymi obietnicami
Badacz na podstawie marketingowych obrazów i renderów TiinyAI Pocket Lab ustalił rzeczywistą konfigurację sprzętową urządzenia. Firma twierdzi, że uruchamia modele do 120B parametrów z prędkością 20 tokenów/s przy cenie 1299 USD, ale analiza pokazuje podzieloną pamięć i ograniczoną wydajność. Urządzenie podłącza się przez USB-C do hosta i wykorzystuje kombinację SoC oraz zewnętrznego NPU.
Identyfikacja kluczowych komponentów
SoC w Pocket Lab to CIX P1 (CD8180) od CIX Technology. Specyfikacja:
- 12 rdzeni Armv9.2;
- Wbudowany NPU o mocy 30 TOPS;
- Obsługa 128-bit LPDDR5X;
- PCIe Gen4 x4 przez M.2;
- Proces technologiczny TSMC 6 nm.
Ten układ nadaje się do ogólnych zadań i podstawowego AI, jest już stosowany w mini-PC. Dedykowany NPU o mocy 160 TOPS zrealizowany na module M.2 z dwoma krystalami, prawdopodobnie oparty na VIP9400 od VeriSilicon (80 TOPS na rdzeń). Stos oprogramowania obejmuje ACUITY i TIM-VX, co wyjaśnia własnościowy format modeli Tiiny.
Całkowita pojemność pamięci to 80 GB LPDDR5X, ale podzielona: 32 GB dla SoC i 48 GB dla dNPU. Pule połączone są przez PCIe Gen4 x4 (teor. 8 GB/s, real. 6–7 GB/s), co tworzy wąskie gardło dla wnioskowania LLM. Lokalna przepustowość pamięci ~100 GB/s na stronę, ale ruch między komponentami ograniczony jest przez magistralę.
Problemy wydajności i marketingu
Zadeklarowane 190 TOPS to suma 30 TOPS (SoC) + 160 TOPS (dNPU). Model GPT-OSS-120B (INT4) nie mieści się w 48 GB dNPU, wymaga przekazywania aktywacji przez PCIe. Plik modelu gpt_oss_120b_layer_27_36.q4_0_4x64.gguf wskazuje na statyczne segmentowanie warstw między SoC a NPU.
TiinyAI opiera się na PowerInfer do spekulatywnego dekodowania „gorących”/„zimnych” neuronów oraz TurboSparse. Demonstrowane modele to MoE o niskiej aktywnej gęstości (3–8B parametrów na token):
- Qwen3-Coder-Next 80B 3B MoE;
- GLM-4.7-Flash 30B ~3B MoE;
- Qwen3-30B-A3B 30B 3B MoE;
- GPT-OSS-20B 21B 3.6B MoE;
- Qwen3-8B 8B 8B.
Benchmarki wykorzystują krótkie konteksty (32 tokeny) dla szczytowych 20 tok/s. Przy rzeczywistych obciążeniach:
| Kontekst | Tokeny/s |
|----------|----------|
| 8K | 12 |
| 16K | 9 |
| 32K | 6 |
| 64K | 4.47 |
Czas do pierwszego tokenu jest wysoki, co jest krytyczne dla RAG i agentów. Porównanie: RTX 4060 Ti (~400 USD) daje 70–90 tok/s na MoE 3B przy kontekście 100K+ w porównaniu do 6–12 tok/s u Pocket Lab na 8–32K.
Architektura i tryb pracy
Pocket Lab to nie samodzielny PC, lecz peryferium USB-C z Linuksem na ARM SoC. Host zarządza UI, ładowaniem modeli i siecią; urządzenie dostarcza OpenAI-kompatybilny API przez wirtualny adapter sieciowy. SSD 1 TB NVMe z AES-256 to standard, nie „poziom bankowy".
Pełna konfiguracja:
- SoC CIX P1 + 32 GB LPDDR5X;
- M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X;
- Mostek PCIe Gen4 x4;
- 1 TB NVMe SSD;
- Własnościowe oprogramowanie z formatem Tiiny.
Co ważne
- Podzielona pamięć ogranicza wnioskowanie dużych modeli z powodu wąskiego gardła PCIe;
- Zadeklarowane 120B@20t/s nieosiągalne dla gęstych modeli; realia to MoE o niskiej aktywności;
- Urządzenie zależne od hosta, pozycjonowane jako „superkomputer";
- Komponenty realne (CIX P1, VeriSilicon IP), ale wydajność nie dorównuje szumowi;
- Brak przejrzystości w firmie: minimum informacji o zespole, powiązania z Chinami przy rejestracji w USA.
— Editorial Team
Brak komentarzy.