TurboQuant : 6x compression du KV-cache LLM
Décomposition de TurboQuant de Google : PolarQuant + QJL pour une compression 6x du KV-cache sans perte de précision. Accélération de l'inférence jusqu'à 8x. Benchmarks, principe de fonctionnement pour les développeurs LLM.
