Artykuły według tagu: glu

Sieci neuronowe i mnożenie: SwiGLU w transformerach

Rozbieramy, dlaczego perceptrony nie mnożą i jak SwiGLU rozwiązuje problem. Wzory, benchmarki, zastosowanie w LLM. Dla middle/senior dev.