로컬 200B 모델: Bonsai와 TurboQuant

1비트 가중치와 KV 캐시 압축: 로컬 200B+ 모델로 가는 길

PrismML의 Bonsai 8B와 Google Research의 TurboQuant 덕분에 200B+ 파라미터 AI 모델을 로컬에서 실행하는 것이 현실적인 목표가 되고 있습니다. 이러한 기술들은 허용 가능한 품질을 유지하면서 가중치와 KV 캐시의 메모리 요구량을 획기적으로 줄입니다. 원리, 벤치마크, 확장 가능성에 대한 분석입니다.

Bonsai 8B: 1비트 가중치 표현

PrismML은 Apache 2.0 라이선스로 오픈소스 Bonsai 8B 모델을 공개했습니다. 기본 아키텍처는 Qwen3-8B 밀집 모델이지만, 모든 가중치(임베딩, 어텐션 투영, MLP 투영, LM 헤드)가 엔드투엔드 1비트 형식으로 양자화됩니다. GGUF 파일 크기는 FP16의 16.38GB에 비해 1.15GB로, 압축률은 14.2배입니다.

성능:

• M4 Pro: ~131 토큰/초
• RTX 4090: ~368 토큰/초
• iPhone 17 Pro Max: ~44 토큰/초

RTX 4090에서 생성 속도는 FP16보다 최대 6.2배 빠르며, 에너지 효율은 4~5배 높습니다. 벤치마크(6개 카테고리 평균): 70.5(Bonsai) vs 79.3(Qwen3 8B), 71.0(Mistral 3 8B), 67.1(Llama 3.1 8B). 극단적인 압축에도 불구하고 품질은 경쟁력을 유지합니다.

양자화 원리:

각 가중치는 1비트(0 ≈ -스케일, 1 ≈ +스케일)이며, 128개 가중치 그룹당 하나의 FP16 스케일을 사용합니다. 효과적으로 가중치당 1.125비트입니다. 추론은 FP16으로 구체화하지 않고 인라인 역양자화 커널을 사용합니다. 맞춤형 커널이 포함된 llama.cpp와 MLX 포크가 필요합니다.

한계: 전체 학습 레시피는 공개되지 않았으며, 추론 능력을 보존하기 위한 독점적인 수학적 프레임워크를 언급하고 있습니다.

TurboQuant: KV 캐시를 3.5비트/채널로 압축

Google Research는 모델을 재학습하지 않고 KV 캐시를 극단적으로 양자화하는 TurboQuant를 제안했습니다. 목표는 컨텍스트 길이에 따라 증가하는 추론 중 메모리 사용량을 최소화하는 것입니다.

주요 결과:

• 3.5비트/채널: 품질 중립성(Google 테스트에서 손실 없음)
• 2.5비트/채널: 최소한의 성능 저하
• KV 캐시 메모리 감소 최소 6배

Qwen3-235B-A22B(128k 컨텍스트) 예시:

• FP16 KV 캐시: 23.5GiB
• TurboQuant 3.5비트: ~5.1GiB

캐시만으로 18GiB 이상 절약.

메커니즘:

• 압축에 편리한 공간으로 데이터 회전.
• 양자화 오류 보정으로 계산 보존.

이 접근 방식은 수학적으로 근거가 있으며 KV 캐시에서 테스트되었습니다.

200B+ 모델을 위한 접근법 결합

Bonsai와 같은 1비트 가중치 압축(14.2배)과 KV 캐시용 TurboQuant를 결합하면 로컬 추론의 가능성이 열립니다.

Qwen3-235B-A22B(bfloat16 가중치 437.7GiB, 128k 컨텍스트) 계산:

| 구성 요소 | FP16/bfloat16 | 압축 후 |

|-----------|---------------|------------|

| 가중치 | 437.7GiB | ~30.8GiB (14.2배) |

| KV 캐시 | 23.5GiB | ~5.1GiB (3.5비트) |

| 총합 | ~461GiB | ~36GiB |

남은 과제:

• 런타임 오버헤드
• 메모리 대역폭
• 1비트의 200B+ 확장성
• 업스트림 프레임워크에 커널 통합

이 결합은 경계를 이동시킵니다: 서버급 235B 모델이 소비자 하드웨어에 접근하고 있습니다.

핵심 요약

• Bonsai 8B는 8B 모델의 가중치를 1.15GB(14.2배)로 줄이고, RTX 4090에서 속도는 368 토큰/초, 품질은 기준 8B에 가깝습니다.
• TurboQuant는 품질 손실 없이 KV 캐시를 3.5비트/채널로 압축하여 235B 모델의 128k 컨텍스트에서 18+GiB를 절약합니다.
• 이 결합은 235B 모델에 대해 461GiB 대신 ~36GiB를 제공하며, 로컬 대형 모델로의 한 걸음입니다.
• 한계: 독점 학습 세부사항, 맞춤형 커널 필요.
• 전망: 중급/고급 개발자를 위한 오픈소스 대안 개발.

— Editorial Team