Articles par tag: long-context

TurboQuant : cache KV 3 bits pour LLM sans pertes

Découvrez comment Google TurboQuant compresse le cache clé-valeur des LLM à 3 bits, accélérant l'inférence 8x. Benchmarks sur Gemma/Mistral, application dans RAG. Pour les développeurs.