Articles par tag: transformers

Grands Modèles de Langage : Bases et Pratique

Découvrez les modèles de langage, LLM, tokens, versions instruct, et multimodalité. Lancement pratique de Qwen dans Colab pour les développeurs. Commencez à expérimenter avec des modèles ouverts.

Prompt Caching LLM : cache KV 10 fois moins cher

Décomposition du Prompt Caching : comment OpenAI et Anthropic mettent en cache l'attention KV pour réduire les coûts et les délais. Détails techniques pour les développeurs, exemples d'inférence. Accélérez vos requêtes LLM.

Self-attention et multi-head dans les transformers

Décomposition des mécanismes d'attention : self-attention, cross-attention, multi-head avec des exemples et du code PyTorch. Théorie, mathématiques, pratique pour les développeurs IA. Étudiez scaled dot-product attention.

Réseaux de Neurones et Multiplication : SwiGLU dans les Transformers

Décomposons pourquoi les perceptrons ne multiplient pas et comment SwiGLU résout le problème. Formules, benchmarks, application aux LLM. Pour les développeurs middle/senior.