Modèles locaux 200B : Bonsai et TurboQuant
Analyse des poids 1-bit Bonsai 8B et compression KV-cache TurboQuant. Réduction de mémoire 14x pour les poids, 6x pour le cache. Calculs pour les modèles 235B. Découvrez comment exécuter des géants localement.
