Gemma 4: modelos MoE abiertos de Google hasta 31B parámetros

# Gemma 4 de Google DeepMind: Nuevos modelos abiertos con arquitectura MoE y multimodalidad

Google DeepMind ha presentado Gemma 4, la nueva generación de modelos de IA abiertos basada en Gemini 3. La gama incluye cuatro variantes: E2B, E4B, 26B MoE y 31B Dense. La principal novedad es el modelo 26B con arquitectura de Mezcla de Expertos (MoE), en el que solo se activan 3.800 millones de parámetros durante la inferencia. Esto ofrece un alto rendimiento manteniendo la profundidad de conocimiento. El modelo insignia 31B Dense ocupó el tercer lugar en la tabla de clasificación de Arena AI Text entre sus equivalentes abiertos, destacando su eficiencia en términos de «inteligencia por parámetro».

Todos los modelos son multimodales: procesan imágenes y vídeo. Los compactos E2B y E4B también admiten entrada de audio para reconocimiento de voz local. La ventana de contexto va de 128K tokens en los modelos más pequeños a 256K en los más grandes. Incluyen soporte nativo para llamada a funciones y salida JSON estructurada, ideal para aplicaciones agentivas.

Características arquitectónicas y optimizaciones

El MoE del modelo 26B minimiza la carga computacional: de 26.000 millones de parámetros, solo se usan activamente 3.800 millones. Esto es clave para tareas de baja latencia. El 31B Dense mantiene una arquitectura densa, pero está optimizado para competir con modelos dos o más veces mayores.

Los compactos E2B y E4B están orientados a dispositivos de borde:

• Smartphones Android;
• Raspberry Pi;
• Jetson Nano.

Funcionan completamente sin conexión, sin dependencias en la nube. El soporte para más de 140 idiomas y la licencia Apache 2.0 facilitan el uso comercial sin restricciones estrictas.

Los pesos de los modelos están disponibles en Hugging Face, Kaggle, Ollama, LM Studio y en imágenes Docker. Los modelos más grandes caben en una sola GPU, lo que es relevante para escenarios que requieren privacidad de datos y soberanía digital.

Capacidades para desarrolladores

Gemma 4 está diseñada para tareas del mundo real de desarrolladores intermedios y senior:

• Multimodalidad: datos de entrada — texto, imágenes, vídeo, audio (para E2B/E4B).
• Funciones agentivas: llamada a funciones nativa y salida JSON estructurada sin postprocesado.
• Contexto largo: hasta 256K tokens para manejar documentos grandes o conversaciones.
• Despliegue local: desde dispositivos móviles hasta servidores con una sola GPU.
• Multilingüismo: más de 140 idiomas sin ajuste fino.

Esto permite integrarlos en aplicaciones de baja latencia: chatbots, sistemas RAG, IA en dispositivo.

Pruebas de rendimiento y comparaciones

El 31B Dense supera a muchos modelos abiertos de tamaño doble en Arena AI Text (3.º lugar). Los desarrolladores de Google se centraron en la eficiencia: métricas altas con menor tamaño. Las versiones compactas mantienen el rendimiento para tareas en borde con recursos limitados.

Para pruebas, usa Hugging Face Transformers o Ollama. Ejemplo de carga básica del 31B:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "google/gemma-4-31b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")

La inferencia en una sola GPU con cuantización (p. ej., 4 bits) reduce la memoria a 20-25 GB.

Puntos clave

• Optimización MoE: 26B activa 3.800M parámetros — equilibrio entre velocidad y calidad.
• Soporte en borde: E2B/E4B para Android, Raspberry Pi, voz sin conexión.
• Funciones agentivas: llamada a funciones + JSON de fábrica.
• Accesibilidad: Apache 2.0, pesos en HF/Ollama, más de 140 idiomas.
• Eficiencia: 31B compite con modelos de 60B+ en benchmarks.

La familia Gemma 4 amplía las capacidades de IA local para tareas de producción sin comprometer la funcionalidad.

— Editorial Team