Artículos por etiqueta: attention

Caché de prompt LLM: caché KV 10 veces más barato

Desglose de caché de prompt: cómo OpenAI y Anthropic almacenan en caché la atención KV para reducir costos y retrasos. Detalles técnicos para desarrolladores, ejemplos de inferencia. Acelera tus consultas LLM.

Induction Heads en TinyStories: formación débil

Experimento muestra por qué TinyStories suprime Induction Heads en GPT-2. Análisis de SAE, métricas y comparación con Previous Token Heads. Estudia el impacto del dataset en ICL para tus modelos.