Artykuły według tagu: attention

Prompt Caching LLM: KV-cache 10 razy tańszy

Analiza Prompt Caching: jak OpenAI i Anthropic cachują KV attention w celu obniżenia kosztów i opóźnień. Szczegóły techniczne dla deweloperów, przykłady inference. Przyspiesz swoje zapytania LLM.

Induction Heads na TinyStories: słabe formowanie

Eksperyment pokazuje, dlaczego TinyStories tłumi Induction Heads w GPT-2. Analiza SAE, metryk i porównanie z Previous Token Heads. Zbadać wpływ zbioru danych na ICL dla swoich modeli.