Articles par tag: quantization

TurboQuant : cache KV 3 bits pour LLM sans pertes

Découvrez comment Google TurboQuant compresse le cache clé-valeur des LLM à 3 bits, accélérant l'inférence 8x. Benchmarks sur Gemma/Mistral, application dans RAG. Pour les développeurs.

Lila-Leech : réseau 24D en 10 lignes de code

Déployez des modèles 4B sur les smartphones avec une compression 44.9x. Frozen Leech Core pour Edge AI sans serveurs. Explorez le code et les métriques SR/CN. Pour les développeurs middle/senior.