llama.cpp: ASR en Gemma 4 y Qwen3

llama.cpp incorpora reconocimiento de voz para Gemma 4 y Qwen3

llama.cpp ahora soporta modelos Gemma 4 para procesamiento de audio. Esto permite el Reconocimiento Automático de Voz (ASR) local y la traducción de voz. Los modelos E4B-it (4.5 mil millones de parámetros, 8 mil millones con embeddings) y E2B-it (2.3 mil millones de parámetros, 5.1 mil millones con embeddings) están disponibles en formato GGUF para cuantización.

El soporte abarca más de 35 idiomas, incluido el ruso, con un contexto de 128k tokens. Los modelos funcionan en modo LLM con razonamiento, reconocimiento de imágenes, video y manejo de código.

Ejecución en GPU

Para pruebas en una RTX 4090D, compila desde el código fuente, ya que la imagen de Docker aún no se ha actualizado. Comando de lanzamiento:

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

La salida de inicialización muestra uso de CUDA con 48 GB de VRAM, n_parallel=4, kv_unified=true. La cuantización Q8_0 ocupa unos 10 GB de VRAM.

Sin -b 1024 -ub 1024, podrías encontrarte con errores de aserción en el procesamiento de audio.

Consejos para prompts

Google recomienda clips de audio de 30 segundos, pero segmentos más largos pueden funcionar con resultados variables.

• ASR (Reconocimiento de voz):

> Transcribe el siguiente segmento de voz en {IDIOMA} a texto en {IDIOMA}. Sigue estas instrucciones específicas para formatear la respuesta: _Solo imprime la transcripción, sin saltos de línea._ Al transcribir números, escribe los dígitos, es decir, escribe 1.7 y no uno punto siete, y escribe 3 en lugar de tres.

• AST (Traducción de voz):

> Transcribe el siguiente segmento de voz en {IDIOMA_ORIGEN}, luego tradúcelo a {IDIOMA_DESTINO}.

Al formatear la respuesta, primero imprime la transcripción en {IDIOMA_ORIGEN}, luego un salto de línea, luego imprime la cadena '{IDIOMA_DESTINO}: ', y después la traducción en {IDIOMA_DESTINO}.

Google AdInline article slot

Soporte para Qwen3

El mismo día, se añadió la integración de ASR para Qwen3:

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

Estos modelos amplían las capacidades de reconocimiento de voz local.

La función aún es experimental: el modelo no siempre interpreta bien los prompts. Necesita pulido y retroalimentación de usuarios.

Lo esencial

• llama.cpp ahora soporta Gemma 4 E4B/E2B-it para ASR, AST y tareas multimodales en más de 35 idiomas.
• Usa -b 1024 -ub 1024 para estabilidad en GPU.
• Límite recomendado de 30 segundos de audio, pero clips más largos posibles con riesgos.
• Extra: modelos ASR de Qwen3 en GGUF.
• Contexto de 128k, Q8_0 usa ~10 GB de VRAM en RTX 4090D.

— Editorial Team