Články podle tagu: glu

Neurální sítě a násobení: SwiGLU v transformerech

Rozkládáme, proč perceptrony nenásobí a jak SwiGLU řeší problém. Formule, benchmarky, použití v LLM. Pro middle/senior dev.