Články podle tagu: long-context

TurboQuant: 3bitová KV cache pro LLM bez ztrát

Zjistěte, jak Google TurboQuant komprimuje key-value cache LLM na 3 bity, zrychluje inference 8násobně. Benchmarky na Gemma/Mistral, použití v RAG. Pro vývojáře.