Articles par tag: attention

Prompt Caching LLM : cache KV 10 fois moins cher

Décomposition du Prompt Caching : comment OpenAI et Anthropic mettent en cache l'attention KV pour réduire les coûts et les délais. Détails techniques pour les développeurs, exemples d'inférence. Accélérez vos requêtes LLM.

Induction Heads sur TinyStories : formation faible

L'expérience montre pourquoi TinyStories supprime les Induction Heads dans GPT-2. Analyse de SAE, métriques et comparaison avec Previous Token Heads. Étudiez l'impact du jeu de données sur ICL pour vos modèles.