Komprese KV cache LLM na 3 bity: TurboQuant od Google Research
Google Research vyvinulo TurboQuant — metodu komprese key-value cache (KV cache) velkých jazykových modelů (LLM) na 3 bity na parametr. Algoritmus zachovává přesnost generování bez dalšího tréninku a extra nákladů na paměť. TurboQuant kombinuje PolarQuant pro hlavní kvantizaci a QJL pro korekci chyb, což umožňuje zpracovávat dlouhé kontexty 6–8krát rychleji.
KV cache akumuluje intermediální reprezentace mechanismu attention při zpracování sekvencí. Pro kontexty délky 128k+ tokenů objem cache překračuje gigabajty, což omezuje inference na GPU. TurboQuant to řeší převodem dat do polárních souřadnic a aplikací jednobitové korekce.
Jak algoritmus funguje
TurboQuant se skládá ze dvou fází:
- PolarQuant: převádí KV vektory do polární souřadnicové soustavy. Amplituda je kvantizována s vysokou přesností (8–16 bitů), fáze jsou komprimovány na 1–2 bity. To minimalizuje chybu na hlavních komponentách.
- QJL (Quantized Joint Learning): jednobitová post-korekce reziduálních artefaktů. Nevyžaduje gradientové učení, funguje během inference.
Kombinace poskytuje 3bitovou reprezentaci bez degradace perplexity. Metoda je prokázaně optimální podle dolních hranic komprese pro attention matice.
Benchmarky a výkon
Testování na otevřených modelech Gemma-2B/7B a Mistral-7B ukázalo:
- Komprese KV cache 6–10krát podle objemu paměti.
- Zrychlení attention až 8x na H100 GPU (3-bit vs FP32 baseline).
- Plná přesnost na Needle In A Haystack (NIAH) pro kontexty do 128k tokenů — 0 % chyb při extrakci faktů.
| Benchmark | FP32 (baseline) | TurboQuant 3-bit | Relativní zrychlení |
|----------|-----------------|------------------|---------------------|
| LongBench | 100% | 99.8% | 6.2x paměť, 7.1x rychlost |
| RULER | 100% | 100% | 8.3x rychlost |
| NIAH | 100% | 100% | 6.8x paměť |
V 4bitovém režimu zrychlení dosahuje maxima na H100, s lineárním škálováním na A100/H200.
Použití mimo LLM
TurboQuant je použitelný pro vektorový vyhledávání v systémech RAG a sémantické ranking. Testy na ANN benchmarkách (SIFT, GIST) ukazují převahu nad FP16 kvantizací:
- Recall@10: +2–5 % oproti Int8 baseline.
- Latence: 4–6x nižší bez pře-tréninku indexu.
Algoritmus je nezávislý na doméně dat, což usnadňuje nasazení v produkci. Pro LLM se TurboQuant integruje do inference frameworků jako vLLM nebo Hugging Face TGI bez změn v modelu.
Klíčové výhody pro middle/senior devy:
- Zero-shot kvantizace — plug-and-play.
- Zachování full-precision přesnosti na long-context úlohách.
- Škálovatelnost na multi-GPU setupy.
Co je důležité
- TurboQuant komprimuje KV cache LLM na 3 bity, zrychluje inference 8x bez ztráty kvality.
- Dvoufázový algoritmus (PolarQuant + QJL) je matematicky optimální, nevyžaduje fine-tuning.
- Plná kompatibilita s Gemma/Mistral; ideální pro kontexty 100k+ tokenů.
- Rozšíření na vector search: +recall při 6x menším footprint.
- Prezentace na ICLR 2026 — očekávána open-source implementace.
Metoda je klíčová pro škálování LLM v produkci, kde paměť KV cache představuje hlavní bottleneck. (Celkový objem: ~3200 znaků)
— Editorial Team
Zatím žádné komentáře.