llama.cpp : ASR dans Gemma 4 et Qwen3

llama.cpp intègre la reconnaissance vocale pour Gemma 4 et Qwen3

llama.cpp prend désormais en charge les modèles Gemma 4 pour le traitement audio. Cela permet une reconnaissance vocale automatique (ASR) locale et la traduction vocale. Les modèles E4B-it (4,5 milliards de paramètres, 8 milliards avec embeddings) et E2B-it (2,3 milliards de paramètres, 5,1 milliards avec embeddings) sont disponibles au format GGUF pour la quantification.

La prise en charge couvre plus de 35 langues, dont le russe, avec un contexte de 128k tokens. Les modèles fonctionnent en mode LLM avec raisonnement, reconnaissance d'images, vidéo et gestion du code.

Exécution sur GPU

Pour tester sur une RTX 4090D, compilez depuis les sources car l'image Docker n'est pas encore mise à jour. Commande de lancement :

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

La sortie d'initialisation montre l'utilisation de CUDA avec 48 Go de VRAM, n_parallel=4, kv_unified=true. La quantification Q8_0 occupe environ 10 Go de VRAM.

Sans -b 1024 -ub 1024, vous risquez des erreurs d'assertion dans le traitement audio.

Conseils pour les prompts

Google recommande des clips audio de 30 secondes, mais des segments plus longs peuvent fonctionner avec des résultats variables.

• ASR (Reconnaissance vocale) :

> Transcrivez le segment vocal suivant en {LANGUE} sous forme de texte {LANGUE}. Suivez ces instructions précises pour formater la réponse : _N'afficher que la transcription, sans sauts de ligne._ Pour les nombres, écrivez les chiffres, par ex. 1,7 et non un virgule sept, et 3 au lieu de trois.

• AST (Traduction vocale) :

> Transcrivez le segment vocal suivant en {LANGUE_SOURCE}, puis traduisez-le en {LANGUE_CIBLE}.

Pour formater la réponse, affichez d'abord la transcription en {LANGUE_SOURCE}, puis un saut de ligne, ensuite la chaîne '{LANGUE_CIBLE} : ', suivie de la traduction en {LANGUE_CIBLE}.

Google AdInline article slot

Prise en charge de Qwen3

Le même jour, l'intégration ASR a été ajoutée pour Qwen3 :

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

Ces modèles étendent les capacités locales de reconnaissance vocale.

La fonctionnalité est encore brute : le modèle n'interprète pas toujours correctement les prompts. Elle nécessite des améliorations et des retours d'utilisateurs.

Points clés

• llama.cpp prend en charge Gemma 4 E4B/E2B-it pour l'ASR, l'AST et les tâches multimodales dans plus de 35 langues.
• Utilisez -b 1024 -ub 1024 pour la stabilité GPU.
• Limite recommandée de 30 secondes pour l'audio, mais clips plus longs possibles avec risques.
• Bonus : modèles ASR Qwen3 en GGUF.
• Contexte 128k, Q8_0 utilise ~10 Go de VRAM sur RTX 4090D.

— Editorial Team