Articles par tag: int4

Quantification LLM : Modèle 160GB sur un ordinateur portable

Apprenez à quantifier de grands LLM en 4 bits sans perte de qualité. Quantification symétrique/asymétrique, code, benchmarks. Exécutez des modèles 80B localement — guide pour développeurs.