Články podle tagu: transformers

Velké jazykové modely: základy a praxe

Seznamte se s jazykovými modely, LLM, tokeny, instruct-verzemi a multimodálností. Praktické spuštění Qwen v Colab pro developery. Začněte experimentovat s otevřenými modely.

Prompt Caching LLM: KV cache 10× levnější

Rozbor Prompt Caching: jak OpenAI a Anthropic cachují KV attention pro snížení nákladů a zpoždění. Technické detaily pro vývojáře, příklady inference. Zrychlete své LLM požadavky.

Self-attention a multi-head v transformerech

Rozbor mechanismů pozornosti: self-attention, cross-attention, multi-head s příklady a PyTorch kódem. Teorie, matematika, praxe pro vývojáře AI. Studujte scaled dot-product attention.

Neurální sítě a násobení: SwiGLU v transformerech

Rozkládáme, proč perceptrony nenásobí a jak SwiGLU řeší problém. Formule, benchmarky, použití v LLM. Pro middle/senior dev.