Artikel nach Tag: long-context

TurboQuant: 3-Bit-KV-Cache für LLM ohne Verluste

Erfahren Sie, wie Google TurboQuant den Key-Value-Cache von LLM auf 3 Bits komprimiert und die Inferenz um das 8-Fache beschleunigt. Benchmarks auf Gemma/Mistral, Anwendung in RAG. Für Entwickler.