# Kompresja KV-cache'u LLM do 3 bitów: TurboQuant od Google Research
Google Research opracowało TurboQuant — metodę kompresji pamięci podręcznej key-value (KV-cache) dużych modeli językowych (LLM) do 3 bitów na parametr. Algorytm zachowuje dokładność generowania bez dalszego uczenia i dodatkowych kosztów pamięci. TurboQuant łączy PolarQuant do głównej kwantyzacji oraz QJL do korekcji błędów, co pozwala przetwarzać długie konteksty 6–8 razy szybciej.
KV-cache gromadzi pośrednie reprezentacje mechanizmu attention podczas przetwarzania sekwencji. Dla kontekstów o długości 128k+ tokenów rozmiar pamięci podręcznej przekracza gigabajty, ograniczając inferencję na GPU. TurboQuant rozwiązuje ten problem, przekształcając dane w współrzędne polarne i stosując jednobitową korekcję.
Jak działa algorytm
TurboQuant składa się z dwóch etapów:
- PolarQuant: przekształca wektory KV do układu współrzędnych polarnych. Amplituda jest kwantyzowana z wysoką precyzją (8–16 bitów), fazy kompresowane do 1–2 bitów. To minimalizuje błąd na głównych komponentach.
- QJL (Quantized Joint Learning): jednobitowa post-korekcja pozostałych artefaktów. Nie wymaga uczenia gradientowego, działa podczas inferencji.
Połączenie daje 3-bitową reprezentację bez degradacji perpleksji. Metoda jest udowodnione optymalna pod względem dolnych granic kompresji dla macierzy attention.
Benchmarki i wydajność
Testy na otwartych modelach Gemma-2B/7B i Mistral-7B wykazały:
- Kompresję KV-cache'u 6–10 razy pod względem zużycia pamięci.
- Przyspieszenie attention do 8x na GPU H100 (3-bity vs baza FP32).
- Pełną dokładność w teście Needle In A Haystack (NIAH) dla kontekstów do 128k tokenów — 0% błędów w ekstrakcji faktów.
| Benchmark | FP32 (baza) | TurboQuant 3-bit | Względne przyspieszenie |
|----------|-------------|------------------|------------------------|
| LongBench | 100% | 99.8% | 6.2x pamięć, 7.1x prędkość |
| RULER | 100% | 100% | 8.3x prędkość |
| NIAH | 100% | 100% | 6.8x pamięć |
W trybie 4-bitowym przyspieszenie osiąga szczyt na H100, z liniowym skalowaniem na A100/H200.
Zastosowania poza LLM
TurboQuant nadaje się do wyszukiwania wektorowego w systemach RAG i semantycznego rangowania. Testy na benchmarkach ANN (SIFT, GIST) pokazują przewagę nad kwantyzacją FP16:
- Recall@10: +2–5% w porównaniu do baz Int8.
- Opóźnienie: 4–6x niższe bez przeuczenia indeksu.
Algorytm jest niezależny od dziedziny danych, co ułatwia wdrożenie w produkcji. Dla LLM TurboQuant integruje się z frameworkami inferencji jak vLLM czy Hugging Face TGI bez zmian w modelu.
*Kluczowe zalety dla middle/senior dev:
- Zero-shot kwantyzacja — plug-and-play.
- Zachowanie dokładności full-precision w zadaniach long-context.
- Skalowalność na konfiguracjach multi-GPU.
Co ważne
- TurboQuant kompresuje KV-cache LLM do 3 bitów, przyspieszając inferencję 8-krotnie bez utraty jakości.
- Dwuetapowy algorytm (PolarQuant + QJL) jest matematycznie optymalny, nie wymaga fine-tuning.
- Pełna kompatybilność z Gemma/Mistral; idealny dla kontekstów 100k+ tokenów.
- Rozszerzenie na vector search: +recall przy 6x mniejszym zużyciu pamięci.
- Prezentacja na ICLR 2026 — oczekiwana implementacja open-source.
Metoda jest kluczowa dla skalowania LLM w produkcji, gdzie pamięć KV-cache to główny wąski gardło. (Całkowita objętość: ~3200 znaków)
— Editorial Team
Brak komentarzy.