Artykuły według tagu: long-context

TurboQuant: 3-bitowy KV-cache dla LLM bez strat

Dowiedz się, jak Google TurboQuant kompresuje key-value cache LLM do 3 bitów, przyspieszając inferencję 8-krotnie. Benchmarki na Gemma/Mistral, zastosowanie w RAG. Dla programistów.