1bitové váhy a komprese KV-cache: Cesta k lokálním modelům 200B+
Lokální spouštění modelů umělé inteligence o velikosti 200B+ přestává být nedosažitelným cílem díky Bonsai 8B od PrismML a TurboQuant od Google Research. Tyto technologie radikálně snižují nároky na paměť pro váhy a KV-cache, přičemž zachovávají přijatelnou kvalitu. Rozbor principů, benchmarků a potenciálu škálování.
Bonsai 8B: 1bitové reprezentace vah
PrismML vydala otevřený model Bonsai 8B pod licencí Apache 2.0. Základní architektura je Qwen3-8B dense, ale všechny váhy (embeddings, attention projections, MLP projections, LM head) jsou kvantovány do end-to-end 1bitového formátu. Velikost GGUF souboru je 1,15 GB oproti 16,38 GB ve FP16, kompresní poměr 14,2x.
Výkonnost:
- M4 Pro: ~131 tokenů/s
- RTX 4090: ~368 tokenů/s
- iPhone 17 Pro Max: ~44 tokenů/s
Na RTX 4090 zrychlení generování až 6,2x oproti FP16, energetická účinnost 4–5x vyšší. Benchmarky (průměr přes 6 kategorií): 70,5 (Bonsai) vs 79,3 (Qwen3 8B), 71,0 (Mistral 3 8B), 67,1 (Llama 3.1 8B). Kvalita je konkurenceschopná při extrémní kompresi.
Princip kvantizace:
Každá váha je 1 bit (0 ≈ -scale, 1 ≈ +scale), na skupinu 128 vah připadá jeden FP16 scale. Efektivně 1,125 bitu/váhu. Inferenční proces využívá inline dequantizační jádra bez materializace do FP16. Vyžadují se forky llama.cpp a MLX s vlastními jádry.
Omezení: Úplný tréninkový postup není zveřejněn, zmiňuje se proprietární matematický framework pro zachování reasoningu.
TurboQuant: Komprese KV-cache na 3,5 bitu/kanál
Google Research představila TurboQuant pro extrémní kvantizaci KV-cache bez dotrénování modelu. Cíl je minimalizace paměti během inferenčního procesu, která roste s délkou kontextu.
Klíčové výsledky:
- 3,5 bitu/kanál: kvalitativní neutralita (bez ztráty kvality na testech Google)
- 2,5 bitu/kanál: minimální degradace
- Snížení paměti KV-cache minimálně 6x
Příklad pro Qwen3-235B-A22B (kontext 128k):
- FP16 KV-cache: 23,5 GiB
- TurboQuant 3,5 bitu: ~5,1 GiB
Úspora >18 GiB pouze na cache.
Mechanismus:
- Rotace dat do prostoru vhodného pro kompresi.
- Kompenzace kvantizačních chyb pro zachování výpočtů.
Přístup je matematicky podložený, testován na KV-cache.
Kombinace přístupů pro modely 200B+
Spojení Bonsai-podobné 1bitové komprese vah (14,2x) a TurboQuant pro KV-cache otevírá perspektivy lokální inference.
Výpočet pro Qwen3-235B-A22B (bfloat16 váhy 437,7 GiB, kontext 128k):
| Komponenta | FP16/bfloat16 | Komprimováno |
|-----------|---------------|--------|
| Váhy | 437,7 GiB | ~30,8 GiB (14,2x) |
| KV-cache | 23,5 GiB | ~5,1 GiB (3,5 bitu) |
| Celkem | ~461 GiB | ~36 GiB |
Zbývající výzvy:
- Režie runtime
- Propustnost paměti
- Škálovatelnost 1bitové kvantizace na 200B+
- Integrace jader do upstream frameworků
Taková kombinace posouvá hranice: serverové 235B modely se přibližují k běžnému hardwaru.
Co je důležité
- Bonsai 8B snižuje váhy 8B modelu na 1,15 GB (14,2x), rychlost na RTX 4090 je 368 tokenů/s, kvalita blízká základním 8B modelům.
- TurboQuant komprimuje KV-cache na 3,5 bitu/kanál bez ztráty kvality, úspora 18+ GiB na 128k kontextu pro 235B.
- Kombinace dává ~36 GiB pro 235B model místo 461 GiB – krok k lokálním obrům.
- Omezení: proprietární detaily tréninku, nutnost vlastních jader.
- Perspektiva: rozvoj open-source alternativ pro middle/senior vývojáře.
— Editorial Team
Zatím žádné komentáře.