TurboQuant: komprese KV-cache AI bez ztrát

TurboQuant: algoritmus komprese KV-cachu pro optimalizaci AI modelů

TurboQuant od Google řeší problém úzkých míst v KV-cachu transformerů pomocí vektorového kvantování pro snížení spotřeby paměti bez ztráty přesnosti. Algoritmus kombinuje PolarQuant a QJL a zajišťuje kompresi až na 3 bity na prvek při zachování výkonu v úlohách s dlouhým kontextem. To umožňuje spouštět velké LLM na zařízeních s omezenými zdroji.

Metoda se zaměřuje na pár klíč-hodnota v mechanismech pozornosti, kde tradiční kvantování přidává režii kvůli ukládání konstant pro bloky dat. TurboQuant tyto náklady eliminuje aplikací polárních souřadnic a reziduálního kvantování chyb.

PolarQuant: komprese bez režie

PolarQuant převádí dekaréovské souřadnice vektoru paměti do polárních a vylučuje nadbytečné konstanty. Místo ukládání vzdáleností podle os X, Y, Z metoda využívá poloměr a úhly, což minimalizuje paměť potřebnou pro kódové knihy.

Výhody přístupu:

• Nulové režijní náklady na ukládání metadat.
• Zachování geometrie vektorového prostoru.
• Kompatibilita se stávajícími pipeliney vektorového vyhledávání.

To je obzvláště užitečné pro zrychlení indexování v systémech sémantického vyhledávání, kde TurboQuant dosahuje kompletnosti 1@k na datové sadě GloVe (d=200).

QJL: korekce chyb s Johnson-Lindenstrauss

Po PolarQuant se aplikuje QJL na 1bitovém reziduu. Algoritmus využívá transformaci Johnson-Lindenstrauss (JLT) pro projekci vícedimenzionálních dat do nízkodimenzionálního prostoru při zachování vzdáleností.

QJL zahrnuje:

• Projekci chyb na náhodnou JLT matici.
• Speciální odhadce pro vyvážení přesnosti dotazů a komprimovaných dat.
• Žádné dodatečné náklady na paměť při dekódování.

Výsledkem je vysoce přesné obnovení podobnosti bez fine-tuningu modelu.

Benchmarky a výkon

TurboQuant byl otestován na otevřených LLM (Gemma, Mistral) v benchmarkách LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval. Na Llama-3.1-8B-Instruct algoritmus překonává baseline v zkreslení skalárního součinu a kompletnosti při minimalizaci velikosti KV-cachu.

V úloze Needle In A Haystack (hledání fragmentu v dlouhém kontextu) komprese KV na 3 bity zachovává přesnost původního modelu a zrychluje inferenci. TurboQuant ukazuje zrychlení v logitách pozornosti oproti optimalizovanému JAX baseline na úrovních od 3 do 8 bitů.

Klíčové metriky:

• Snížení paměti KV-cachu minimálně 6krát.
• Zrychlení vektorového vyhledávání díky menším indexům.
• Stabilní výkon bez retraininku.

Co je důležité

• TurboQuant kombinuje PolarQuant a QJL pro extrémní kompresi KV-cachu bez ztráty kvality.
• Podporuje dlouhý kontext v LLM a zrychluje inferenci o 20–30 %.
• Ideální pro vektorové vyhledávání a sémantické indexy s minimální pamětí.
• Funguje na modelech Gemma, Mistral, Llama bez dalšího tréninku.
• Omezen na inferenci; neřeší problémy tréninku.

Perspektivy nasazení

Algoritmus je vhodný pro produkční scénáře s velkými vektorovými databázemi, snižuje latenci při tvorbě indexů. V LLM optimalizuje KV-cache pro dlouhé sekvence a činí modely dostupnými na spotřebním hardware. Prezentace na ICLR 2026 potvrdí škálovatelnost.

— Editorial Team