Artykuły według tagu: activation-functions

Sieci neuronowe i mnożenie: SwiGLU w transformerach

Rozbieramy, dlaczego perceptrony nie mnożą i jak SwiGLU rozwiązuje problem. Wzory, benchmarki, zastosowanie w LLM. Dla middle/senior dev.