Warum neuronale Netze nicht multiplizieren: Von Perzeptronen zu SwiGLU
Neuronale Netze führen, trotz ihres Erfolgs bei der Erzeugung von Texten und Bildern, grundsätzlich keine Multiplikation von Eingabedaten durch. In einem Perzeptron durchlaufen die Eingaben eine lineare Kombination: Sie werden gewichtet und summiert. Die Formel für ein einfaches Neuron lautet: $$h = \sigma(\sum w_i x_i + b)$$, wobei es kein Produkt zweier Variablen $x_1 \cdot x_2$ gibt.
Für eine Aufgabe wie die Berechnung von Kosten (Preis × Menge) approximiert das Netz das Ergebnis durch das Auswendiglernen von Mustern, führt aber keine direkte Multiplikation durch. Das Hinzufügen versteckter Schichten bewahrt das Prinzip: In jeder Stufe sind nur Summen gewichteter Signale beteiligt.
In der ersten Schicht:
$$h_1^{(1)} = x_1 w_{11}^{(1)} + x_2 w_{12}^{(1)}$$
$$h_2^{(1)} = x_1 w_{21}^{(1)} + x_2 w_{22}^{(1)}$$
In der zweiten Schicht:
$$h_1^{(2)} = h_1^{(1)} w_{11}^{(2)} + h_2^{(1)} w_{12}^{(2)}$$
Die Substitution zeigt: $x_1$ und $x_2$ bleiben in Summen, ihr Produkt entsteht nicht. Gewichte multiplizieren sich zwischen den Schichten, aber Eingaben nicht.
Workarounds: Quadrate und Vorberechnungen
Ingenieure fügen vorberechnete Werte ($x_1 x_2$) oder Quadrate zur Eingabe hinzu, um Multiplikation zu simulieren. Eine Schulformel erlaubt es, das Produkt auszudrücken:
$$x y = \frac{1}{2} \left( (x+y)^2 - x^2 - y^2 \right)$$
Dies reduziert Multiplikation auf Addition, Subtraktion und Quadrieren. Eine hypothetische Aktivierung $f(z) = z^2$ könnte helfen, aber Standard-ReLU, Sigmoid und Tanh bieten nicht die Nichtlinearität des Quadrierens.
Die Praxis zeigt: Solche Workarounds funktionieren für Demonstrationen, aber bei realen Aufgaben mit vielen Eingaben erfordern sie die vorherige Kenntnis der notwendigen Kombinationen.
- Vorberechnungen: Eingabe von $x_1 x_2$ als Input.
- Quadrate: Verwendung von $(x+y)^2$, $x^2$, $y^2$.
- Einschränkungen: Skaliert nicht, beeinträchtigt die Eigenschaft des universellen Approximators.
Transformer-Durchbruch: Die Rolle von GLU-Varianten
Die Transformer-Architektur (2017) führte Attention ein, aber ein entscheidender Schritt war der Ersatz von Aktivierungen durch Gated Linear Units (GLU) im Jahr 2020 (Noam Shazeer, "GLU Variants Improve Transformer"). ReGLU, GEGLU und SwiGLU übertreffen ReLU in der Konvergenz.
| Aktivierung | Fehler |
|-----------|--------|
| ReLU | 2,45 |
| ReGLU | 2,32 |
| GEGLU | 2,25 |
| SwiGLU | 2,24 |
SwiGLU wird aufgrund der Geschwindigkeit bevorzugt. Die Formel:
$$\text{SwiGLU}(x) = \text{Swish}(x W + b) \odot (x V + c)$$
Hier ist $\odot$ die elementweise Multiplikation zweier Projektionen. Dies führt quadratische Abhängigkeiten ein und ermöglicht die Modellierung von $x_1 x_2$ ohne Workarounds. SwiGLU wird in FFN-Blöcken moderner LLMs verwendet.
Mechanismus:
- Eingabe $x$ wird in zwei Pfade projiziert: $xW + b$ und $xV + c$.
- Der erste durchläuft Swish ($\text{Swish}(z) = z \sigma(\beta z)$).
- Elementweise Multiplikation.
Praktische Implikationen für Modelle
SwiGLU verbessert das Training, macht KI aber nicht zu einem präzisen Rechner. Generative Modelle sind probabilistisch: "2×2=4" ist ein wahrscheinlicher Token, keine Deduktion. Für komplexe Berechnungen delegieren LLMs an Python-Code in einer Sandbox.
- Vorteile von GLU: Bessere Konvergenz, Modellierung von Nichtlinearitäten.
- Nachteile: Das Netz findet die notwendigen Gewichte nicht immer automatisch.
- Erfordert große Datenmengen.
- Probabilistische Natur bleibt bestehen.
Zukünftige Integrationen (WebAssembly in Transformer) werden das Ausführen von nativem Code innerhalb des Modells ermöglichen.
Wichtige Erkenntnisse
- Klassische Perzeptronen addieren, multiplizieren aber keine Eingaben.
- GLU (SwiGLU) führt elementweise Multiplikation von Projektionen für quadratische Abhängigkeiten ein.
- Gated Units ersetzen ReLU in modernen Transformatoren und reduzieren den Fehler um 5–10 %.
- Für präzise Berechnungen nutzen LLMs externe Werkzeuge.
— Editorial Team
Noch keine Kommentare.