Articles par tag: turboquant

Modèles locaux 200B : Bonsai et TurboQuant

Analyse des poids 1-bit Bonsai 8B et compression KV-cache TurboQuant. Réduction de mémoire 14x pour les poids, 6x pour le cache. Calculs pour les modèles 235B. Découvrez comment exécuter des géants localement.

TurboQuant : 6x compression du KV-cache LLM

Décomposition de TurboQuant de Google : PolarQuant + QJL pour une compression 6x du KV-cache sans perte de précision. Accélération de l'inférence jusqu'à 8x. Benchmarks, principe de fonctionnement pour les développeurs LLM.