# Gemma 4 von Google DeepMind: Neue Open-Modelle mit MoE-Architektur und Multimodalität
Google DeepMind hat Gemma 4 vorgestellt – die nächste Generation offener KI-Modelle basierend auf Gemini 3. Die Reihe umfasst vier Varianten: E2B, E4B, 26B MoE und 31B Dense. Die große Neuheit ist das 26B-Modell mit Mixture-of-Experts-(MoE)-Architektur, bei dem während der Inferenz nur 3,8 Milliarden Parameter aktiviert werden. Das liefert hohe Leistung bei Erhaltung der WissensTiefe. Das Flaggschiff-Modell 31B Dense belegte den dritten Platz in der Arena-AI-Text-Rangliste unter den offenen Pendants und zeigt Effizienz in Bezug auf „Intelligenz pro Parameter“.
Alle Modelle sind multimodal: Sie verarbeiten Bilder und Videos. Die kompakten E2B- und E4B-Varianten unterstützen zudem Audio-Eingaben für lokale Spracherkennung. Das Kontextfenster reicht von 128K Tokens bei den kleineren Modellen bis 256K bei den größeren. Native Unterstützung für Function Calling und strukturierte JSON-Ausgabe ist für agentische Anwendungen integriert.
Architekturmerkmale und Optimierungen
Das MoE im 26B-Modell minimiert die Rechenlast: Von 26 Milliarden Parametern werden nur 3,8 Milliarden aktiv genutzt. Das ist entscheidend für latenzarme Aufgaben. Das 31B Dense behält eine dichte Architektur bei, ist aber optimiert, um mit Modellen doppelt so groß zu konkurrieren.
Die kompakten E2B- und E4B-Modelle zielen auf Edge-Geräte ab:
- Android-Smartphones;
- Raspberry Pi;
- Jetson Nano.
Sie laufen vollständig offline, ohne Cloud-Abhängigkeiten. Unterstützung für über 140 Sprachen und eine Apache-2.0-Lizenz erleichtern den kommerziellen Einsatz ohne strenge Einschränkungen.
Modellgewichte sind auf Hugging Face, Kaggle, Ollama, LM Studio und in Docker-Images verfügbar. Die größeren Modelle passen auf eine einzige GPU, was für Szenarien mit Datenschutz und digitaler Souveränität relevant ist.
Fähigkeiten für Entwickler
Gemma 4 ist auf reale Aufgaben von Mid- und Senior-Entwicklern zugeschnitten:
- Multimodalität: Eingabedaten – Text, Bilder, Video, Audio (für E2B/E4B).
- Agentische Funktionen: Native Function Calling und strukturierte JSON-Ausgabe ohne Nachbearbeitung.
- Langer Kontext: Bis zu 256K Tokens für große Dokumente oder Gespräche.
- Lokale Bereitstellung: Von Mobilgeräten bis zu Servern mit einer einzigen GPU.
- Mehrsprachigkeit: Über 140 Sprachen ohne Fine-Tuning.
Das ermöglicht Integration in latenzarme Anwendungen: Chatbots, RAG-Systeme, On-Device-KI.
Benchmarks und Vergleiche
Das 31B Dense übertrifft viele offene Modelle doppelt so groß in der Arena AI Text (3. Platz). Die Entwickler von Google haben auf Effizienz gesetzt: Hohe Metriken bei kleinerem Umfang. Die kompakten Versionen halten die Leistung für Edge-Aufgaben mit begrenzten Ressourcen.
Zum Testen: Hugging Face Transformers oder Ollama. Beispiel für das Laden des 31B:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "google/gemma-4-31b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")Inferenz auf einer einzelnen GPU mit Quantisierung (z. B. 4-Bit) reduziert den Speicherbedarf auf 20–25 GB.
Schlüsselpunkte
- MoE-Optimierung: 26B aktiviert 3,8B Parameter – Balance aus Geschwindigkeit und Qualität.
- Edge-Unterstützung: E2B/E4B für Android, Raspberry Pi, offline Spracherkennung.
- Agentische Funktionen: Function Calling + JSON out of the box.
- Zugänglichkeit: Apache 2.0, Gewichte auf HF/Ollama, über 140 Sprachen.
- Effizienz: 31B konkurriert mit 60B+-Modellen in Benchmarks.
Die Gemma-4-Familie erweitert lokale KI-Fähigkeiten für Produktionsaufgaben, ohne Funktionalität einzuschränken.
— Editorial Team
Noch keine Kommentare.