TiinyAI Pocket Lab 역설계: SoC와 NPU 공개

# TiinyAI Pocket Lab 리버스 엔지니어링: 마케팅 과대 광고 뒤의 실제 아키텍처

한 연구원이 TiinyAI Pocket Lab의 마케팅 이미지와 렌더링을 활용해 장치의 실제 하드웨어 구성을 파악했습니다. 회사는 1299달러에 최대 120B 파라미터 모델을 20 tokens/s 속도로 실행할 수 있다고 주장하지만, 분석 결과 메모리가 분할되어 있고 성능이 제한적임이 밝혀졌습니다. 이 장치는 USB-C를 통해 호스트에 연결되며, SoC와 외부 NPU를 결합합니다.

주요 구성 요소 식별

Pocket Lab의 SoC는 CIX Technology의 CIX P1 (CD8180)입니다. 사양:

• 12 Armv9.2 코어;
• 30 TOPS 통합 NPU;
• 128비트 LPDDR5X 지원;
• M.2를 통한 PCIe Gen4 x4;
• TSMC 6 nm 공정.

이 칩은 일반 작업과 기본 AI를 처리하며, 이미 미니 PC에 사용되고 있습니다. 160 TOPS의 별도 NPU는 두 개의 칩이 탑재된 M.2 모듈로, VeriSilicon의 VIP9400(코어당 80 TOPS)을 기반으로 한 것으로 보입니다. 소프트웨어 스택에는 ACUITY와 TIM-VX가 포함되어 Tiiny의 독점 모델 형식을 설명합니다.

전체 메모리는 80 GB LPDDR5X이지만 분할되어 있습니다: SoC용 32 GB, dNPU용 48 GB. 이 풀들은 PCIe Gen4 x4(이론상 8 GB/s, 실제 6–7 GB/s)로 연결되어 LLM 추론의 병목 현상을 초래합니다. 로컬 메모리 대역폭은 양쪽 모두 ~100 GB/s이지만, 컴포넌트 간 트래픽은 버스에 의해 제한됩니다.

성능 문제와 마케팅 주장

주장된 190 TOPS는 30 TOPS(SoC) + 160 TOPS(dNPU)의 합입니다. GPT-OSS-120B 모델(INT4)은 48 GB dNPU에 맞지 않아 PCIe를 통한 활성화 전송이 필요합니다. 모델 파일 gpt_oss_120b_layer_27_36.q4_0_4x64.gguf는 SoC와 NPU 간 정적 레이어 분할을 가리킵니다.

TiinyAI는 "hot"/"cold" 뉴런의 추측 디코딩을 위한 PowerInfer와 TurboSparse에 의존합니다. 데모된 모델들은 활성 밀도가 낮은(토큰당 3–8B 파라미터) MoE입니다:

• Qwen3-Coder-Next 80B 3B MoE;
• GLM-4.7-Flash 30B ~3B MoE;
• Qwen3-30B-A3B 30B 3B MoE;
• GPT-OSS-20B 21B 3.6B MoE;
• Qwen3-8B 8B 8B.

벤치마크는 피크 20 tok/s를 위해 짧은 컨텍스트(32 토큰)를 사용합니다. 실제 작업 부하에서는:

| 컨텍스트 | 토큰/초 |

|---------|----------|

| 8K | 12 |

| 16K | 9 |

| 32K | 6 |

| 64K | 4.47 |

첫 번째 토큰까지의 시간(TTFT)이 높아 RAG와 에이전트에 치명적입니다. 비교: RTX 4060 Ti(~$400)는 100K+ 컨텍스트에서 3B MoE 기준 70–90 tok/s를 제공하는 반면, Pocket Lab은 8–32K에서 6–12 tok/s입니다.

아키텍처와 작동 모드

Pocket Lab은 독립형 PC가 아닙니다—ARM SoC 상의 Linux가 탑재된 USB-C 주변기기입니다. 호스트가 UI, 모델 로딩, 네트워킹을 처리하고 장치는 가상 네트워크 어댑터를 통해 OpenAI 호환 API를 제공합니다. AES-256이 적용된 1 TB NVMe SSD는 표준이며, "은행 등급"이 아닙니다.

전체 구성:

• SoC CIX P1 + 32 GB LPDDR5X;
• M.2 dNPU (2x VIP9400) + 48 GB LPDDR5X;
• PCIe Gen4 x4 브리지;
• 1 TB NVMe SSD;
• Tiiny 형식의 독점 소프트웨어.

핵심 사항

• 분할 메모리로 인해 PCIe 병목이 대형 모델 추론을 제한;
• 주장된 120B@20t/s는 밀집 모델에서 달성 불가; 현실은 저활성 MoE;
• 호스트에 의존하지만 "슈퍼컴퓨터"로 마케팅;
• 구성 요소는 실제(CIX P1, VeriSilicon IP)이지만 성능은 과대 광고에 미치지 못함;
• 회사 투명성 부족: 팀 정보 최소, 미국 등록에도 불구하고 중국 연계.

— Editorial Team