TurboQuant: 3-Bit-KV-Cache für LLM ohne Verluste

LLM-KV-Cache auf 3 Bits komprimieren: TurboQuant von Google Research

Google Research hat TurboQuant entwickelt – eine Methode zur Komprimierung des Key-Value-Caches (KV-Cache) großer Sprachmodelle (LLMs) auf 3 Bit pro Parameter. Der Algorithmus erhält die Generierungsgenauigkeit ohne Nachschulung oder zusätzlichen Speicheraufwand. TurboQuant kombiniert PolarQuant für die primäre Quantisierung und QJL für die Fehlkorrektur und ermöglicht dadurch 6–8x schnellere Verarbeitung langer Kontexte.

Der KV-Cache akkumuliert Zwischendarstellungen aus dem Attention-Mechanismus während der Sequenzverarbeitung. Bei Kontexten mit 128k+ Token überschreitet die Cache-Größe Gigabyte und begrenzt die GPU-Inferenz. TurboQuant löst dieses Problem, indem es die Daten in Polarkoordinaten umwandelt und eine Ein-Bit-Korrektur anwendet.

So funktioniert der Algorithmus

TurboQuant besteht aus zwei Stufen:

• PolarQuant: Wandelt KV-Vektoren in Polarkoordinaten um. Die Amplitude wird hochpräzise quantisiert (8–16 Bit), während die Phasen auf 1–2 Bit komprimiert werden. Dadurch werden Fehler auf den Hauptkomponenten minimiert.

• QJL (Quantized Joint Learning): Ein-Bit-Nachkorrektur für Restartefakte. Erfordert kein Gradiententraining und läuft während der Inferenz.

Die Kombination ergibt eine 3-Bit-Darstellung ohne Verschlechterung der Perplexity. Der Ansatz ist gegenüber theoretischen Kompressionsuntergrenzen für Attention-Matrizen optimal nachgewiesen.

Benchmarks und Leistung

Tests an den offenen Modellen Gemma-2B/7B und Mistral-7B zeigten:

• 6–10x Komprimierung des KV-Cache-Speichers.
• Bis zu 8x Attention-Beschleunigung auf H100 GPU (3-Bit vs. FP32-Baseline).
• Perfekte Genauigkeit bei Needle In A Haystack (NIAH) für Kontexte bis 128k Token – 0 % Fehler beim Faktenabruf.

| Benchmark | FP32 (Baseline) | TurboQuant 3-Bit | Relative Beschleunigung |

|-----------|-----------------|------------------|-------------------------|

| LongBench | 100% | 99.8% | 6,2x Speicher, 7,1x Geschwindigkeit |

| RULER | 100% | 100% | 8,3x Geschwindigkeit |

| NIAH | 100% | 100% | 6,8x Speicher |

Im 4-Bit-Modus erreicht die Beschleunigung auf H100 ihren Höhepunkt mit linearer Skalierung auf A100/H200.

Anwendungen über LLMs hinaus

TurboQuant eignet sich für Vektorsuche in RAG-Systemen und semantisches Ranking. Tests auf ANN-Benchmarks (SIFT, GIST) übertreffen die FP16-Quantisierung:

• Recall@10: +2–5 % über Int8-Baselines.
• Latenz: 4–6x niedriger ohne Index-Nachschulung.

Der Algorithmus ist domänenunabhängig und erleichtert den Produktionseinsatz. Für LLMs lässt er sich in Inferenz-Frameworks wie vLLM oder Hugging Face TGI ohne Modelländerungen integrieren.

Wichtige Vorteile für Mid-/Senior-Entwickler:

• Zero-Shot-Quantisierung – Plug-and-Play.
• Genauigkeit in voller Präzision bei Long-Context-Aufgaben.
• Skalierbarkeit auf Multi-GPU-Konfigurationen.

Wichtige Erkenntnisse

• TurboQuant komprimiert den LLM-KV-Cache auf 3 Bit und beschleunigt die Inferenz 8x ohne Qualitätsverlust.
• Der zweistufige Algorithmus (PolarQuant + QJL) ist mathematisch optimal, kein Fine-Tuning erforderlich.
• Volle Kompatibilität mit Gemma/Mistral; ideal für Kontexte mit 100k+ Token.
• Erweiterbar auf Vektorsuche: Höherer Recall bei 6x kleinerem Footprint.
• Vortrag auf ICLR 2026 – Open-Source-Implementierung erwartet.

Die Methode ist entscheidend für das Skalieren von LLMs in der Produktion, wo der KV-Cache-Speicher der primäre Engpass ist. (Gesamtlänge: ~3200 Zeichen)

— Editorial Team