Articles par tag: kv-cache

TurboQuant : compression sans perte du KV-cache pour l'IA

Découvrez comment TurboQuant de Google compresse la mémoire des transformers jusqu'à 3 bits avec PolarQuant et QJL. Benchmarks sur Gemma, Mistral. Optimisation pour les développeurs d'IA.

TurboQuant : cache KV 3 bits pour LLM sans pertes

Découvrez comment Google TurboQuant compresse le cache clé-valeur des LLM à 3 bits, accélérant l'inférence 8x. Benchmarks sur Gemma/Mistral, application dans RAG. Pour les développeurs.

Prompt Caching LLM : cache KV 10 fois moins cher

Décomposition du Prompt Caching : comment OpenAI et Anthropic mettent en cache l'attention KV pour réduire les coûts et les délais. Détails techniques pour les développeurs, exemples d'inférence. Accélérez vos requêtes LLM.

Accès aux fichiers dans l'agent IA local : outils

Implémentation de l'accès aux fichiers pour l'agent IA local : porte de permission, auto-vérification, correction des bogues KV-cache. Détails techniques pour les développeurs. Étudiez l'architecture.

Modèles locaux 200B : Bonsai et TurboQuant

Analyse des poids 1-bit Bonsai 8B et compression KV-cache TurboQuant. Réduction de mémoire 14x pour les poids, 6x pour le cache. Calculs pour les modèles 235B. Découvrez comment exécuter des géants localement.

TurboQuant : 6x compression du KV-cache LLM

Décomposition de TurboQuant de Google : PolarQuant + QJL pour une compression 6x du KV-cache sans perte de précision. Accélération de l'inférence jusqu'à 8x. Benchmarks, principe de fonctionnement pour les développeurs LLM.