Artykuły według tagu: transformers

Duże modele językowe: podstawy i praktyka

Poznaj modele językowe, LLM, tokeny, wersje instruct i multimodalność. Praktyczne uruchomienie Qwen w Colab dla deweloperów. Rozpocznij eksperymenty z otwartymi modelami.

Prompt Caching LLM: KV-cache 10 razy tańszy

Analiza Prompt Caching: jak OpenAI i Anthropic cachują KV attention w celu obniżenia kosztów i opóźnień. Szczegóły techniczne dla deweloperów, przykłady inference. Przyspiesz swoje zapytania LLM.

Self-attention i multi-head w transformerach

Rozbiór mechanizmów uwagi: self-attention, cross-attention, multi-head z przykładami i kodem PyTorch. Teoria, matematyka, praktyka dla deweloperów AI. Poznaj scaled dot-product attention.

Sieci neuronowe i mnożenie: SwiGLU w transformerach

Rozbieramy, dlaczego perceptrony nie mnożą i jak SwiGLU rozwiązuje problem. Wzory, benchmarki, zastosowanie w LLM. Dla middle/senior dev.