Articles par tag: turbiquant

TurboQuant : compression sans perte du KV-cache pour l'IA

Découvrez comment TurboQuant de Google compresse la mémoire des transformers jusqu'à 3 bits avec PolarQuant et QJL. Benchmarks sur Gemma, Mistral. Optimisation pour les développeurs d'IA.

TurboQuant : cache KV 3 bits pour LLM sans pertes

Découvrez comment Google TurboQuant compresse le cache clé-valeur des LLM à 3 bits, accélérant l'inférence 8x. Benchmarks sur Gemma/Mistral, application dans RAG. Pour les développeurs.