# Gemma 4 de Google DeepMind : nouveaux modèles ouverts avec architecture MoE et multimodalité
Google DeepMind a présenté Gemma 4 — la nouvelle génération de modèles IA ouverts basés sur Gemini 3. La gamme comprend quatre variantes : E2B, E4B, 26B MoE et 31B Dense. La principale nouveauté est le modèle 26B doté d'une architecture Mixture of Experts (MoE), où seuls 3,8 milliards de paramètres sont activés lors de l'inférence. Cela offre des performances élevées tout en préservant la profondeur des connaissances. Le modèle amiral 31B Dense a pris la troisième place du classement Arena AI Text parmi les modèles ouverts, démontrant une efficacité en termes d'« intelligence par paramètre ».
Tous les modèles sont multimodaux : ils traitent les images et les vidéos. Les versions compactes E2B et E4B supportent également l'entrée audio pour la reconnaissance vocale locale. La fenêtre de contexte varie de 128K tokens pour les modèles les plus petits à 256K pour les plus grands. Le support natif de l'appel de fonctions et de la sortie JSON structurée est intégré pour les applications agentiques.
Caractéristiques architecturales et optimisations
Le MoE du modèle 26B minimise la charge de calcul : sur 26 milliards de paramètres, seuls 3,8 milliards sont activement utilisés. Cela est crucial pour les tâches à faible latence. Le 31B Dense conserve une architecture dense mais est optimisé pour rivaliser avec des modèles deux fois plus grands.
Les E2B et E4B compacts sont destinés aux appareils de périphérie :
- Smartphones Android ;
- Raspberry Pi ;
- Jetson Nano.
Ils fonctionnent entièrement hors ligne, sans dépendance au cloud. Le support de plus de 140 langues et la licence Apache 2.0 facilitent l'usage commercial sans restrictions strictes.
Les poids des modèles sont disponibles sur Hugging Face, Kaggle, Ollama, LM Studio et dans des images Docker. Les modèles les plus grands tiennent sur un seul GPU, ce qui est pertinent pour les scénarios exigeant la confidentialité des données et la souveraineté numérique.
Capacités pour les développeurs
Gemma 4 est conçu pour les tâches réelles des développeurs intermédiaires et seniors :
- Multimodalité : données d'entrée — texte, images, vidéo, audio (pour E2B/E4B).
- Fonctionnalités agentiques : appel de fonctions natif et sortie JSON structurée sans post-traitement.
- Contexte long : jusqu'à 256K tokens pour gérer de gros documents ou conversations.
- Déploiement local : des appareils mobiles aux serveurs avec un seul GPU.
- Multilinguisme : plus de 140 langues sans ajustement fin.
Cela permet l'intégration dans des applications à faible latence : chatbots, systèmes RAG, IA embarquée.
Benchmarks et comparaisons
Le 31B Dense surpasse de nombreux modèles ouverts deux fois plus grands dans Arena AI Text (3e place). Les développeurs de Google ont mis l'accent sur l'efficacité : des métriques élevées avec une taille réduite. Les versions compactes conservent des performances pour les tâches de périphérie où les ressources sont limitées.
Pour les tests, utilisez Hugging Face Transformers ou Ollama. Exemple de chargement basique du 31B :
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "google/gemma-4-31b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")L'inférence sur un seul GPU avec quantification (par ex., 4 bits) réduit la mémoire à 20-25 GB.
Points clés
- Optimisation MoE : 26B active 3,8B paramètres — équilibre vitesse/qualité.
- Support périphérie : E2B/E4B pour Android, Raspberry Pi, reconnaissance vocale hors ligne.
- Fonctionnalités agentiques : appel de fonctions + JSON prêt à l'emploi.
- Accessibilité : Apache 2.0, poids sur HF/Ollama, plus de 140 langues.
- Efficacité : 31B rivalise avec des modèles 60B+ dans les benchmarks.
La famille Gemma 4 étend les capacités de l'IA locale pour les tâches de production sans compromettre la fonctionnalité.
— Editorial Team
Aucun commentaire pour le moment.