Články podle tagu: attention

Prompt Caching LLM: KV cache 10× levnější

Rozbor Prompt Caching: jak OpenAI a Anthropic cachují KV attention pro snížení nákladů a zpoždění. Technické detaily pro vývojáře, příklady inference. Zrychlete své LLM požadavky.

Induction Heads na TinyStories: slabé formování

Experiment ukazuje, proč TinyStories potlačuje Induction Heads v GPT-2. Analýza SAE, metrik a srovnání s Previous Token Heads. Prozkoumejte vliv datasetu na ICL pro vaše modely.