逆向 TiinyAI Pocket Lab：SoC 和 NPU 揭秘

## 逆向工程 TiinyAI Pocket Lab：营销炒作背后的真实架构

一位研究人员利用 TiinyAI Pocket Lab 的营销图片和渲染图，解析出了该设备的实际硬件配置。公司声称它能以 1299 美元的价格运行高达 120B 参数的模型，速度达 20 个令牌/秒，但分析显示内存采用分割式设计，性能有限。该设备通过 USB-C 连接到主机，将 SoC 与外部 NPU 结合使用。

识别关键组件

Pocket Lab 中的 SoC 是来自 CIX Technology 的 CIX P1 (CD8180)。规格如下：

• 12 个 Armv9.2 核心；
• 集成 NPU，性能达 30 TOPS；
• 支持 128 位 LPDDR5X；
• 通过 M.2 接口支持 PCIe Gen4 x4；
• 采用 TSMC 6 nm 工艺。

这款芯片负责通用任务和基础 AI 计算，目前已用于迷你 PC。独立的 160 TOPS NPU 采用 M.2 模块，包含两颗芯片，很可能基于 VeriSilicon 的 VIP9400（每核 80 TOPS）。软件栈包括 ACUITY 和 TIM-VX，这解释了 Tiiny 的专有模型格式。

总内存为 80 GB LPDDR5X，但采用分割设计：SoC 分配 32 GB，dNPU 分配 48 GB。这些内存池通过 PCIe Gen4 x4（理论带宽 8 GB/s，实际 6–7 GB/s）连接，这为大语言模型推理制造了瓶颈。本地内存带宽每侧约 100 GB/s，但组件间流量受总线限制。

性能问题与营销宣传

宣传的 190 TOPS 是 30 TOPS (SoC) + 160 TOPS (dNPU) 的总和。GPT-OSS-120B 模型（INT4 量化）无法完全放入 48 GB dNPU，需要通过 PCIe 传输激活值。模型文件 gpt_oss_120b_layer_27_36.q4_0_4x64.gguf 表明 SoC 和 NPU 之间存在静态层分割。

TiinyAI 依赖 PowerInfer 进行“热/冷”神经元的推测解码，并使用 TurboSparse。演示模型均为 MoE 架构，活跃参数密度较低（每个令牌 3–8B 参数）：

• Qwen3-Coder-Next 80B 3B MoE；
• GLM-4.7-Flash 30B ~3B MoE；
• Qwen3-30B-A3B 30B 3B MoE；
• GPT-OSS-20B 21B 3.6B MoE；
• Qwen3-8B 8B 8B。

基准测试使用短上下文（32 个令牌）达到峰值 20 tok/s。在实际负载下：

| 上下文长度 | 令牌/秒 |

|------------|---------|

| 8K | 12 |

| 16K | 9 |

| 32K | 6 |

| 64K | 4.47 |

首令牌时间较长，这对 RAG 和智能体至关重要。对比：RTX 4060 Ti（约 400 美元）在 100K+ 上下文下对 3B MoE 可达 70–90 tok/s，而 Pocket Lab 在 8–32K 上下文仅 6–12 tok/s。

架构与运行模式

Pocket Lab 并非独立 PC——它是一个 USB-C 外设，搭载 ARM SoC 的 Linux 系统。主机负责 UI、模型加载和网络；设备通过虚拟网卡提供 OpenAI 兼容的 API。1 TB NVMe SSD 配备 AES-256 加密，这是标准配置，并非“银行级”。

完整配置：

• SoC CIX P1 + 32 GB LPDDR5X；
• M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X；
• PCIe Gen4 x4 桥接；
• 1 TB NVMe SSD；
• 专有软件，支持 Tiiny 格式。

关键要点

• 分割内存由于 PCIe 瓶颈，限制了大模型推理；
• 宣传的 120B@20t/s 无法实现于稠密模型；实际仅适用于低活跃度 MoE；
• 设备依赖主机，却被宣传为“超级计算机”；
• 组件真实（CIX P1、VeriSilicon IP），但性能未达宣传水准；
• 公司缺乏透明度：团队信息稀少，尽管在美国注册但与中国有关联。

— Editorial Team