llama.cpp: ASR in Gemma 4 und Qwen3

llama.cpp integriert Spracherkennung für Gemma 4 und Qwen3

llama.cpp unterstützt nun Gemma-4-Modelle für die Audiobearbeitung. Das ermöglicht lokale Automatische Spracherkennung (ASR) und Sprachübersetzung. Die Modelle E4B-it (4,5 Mrd. Parameter, 8 Mrd. mit Embeddings) und E2B-it (2,3 Mrd. Parameter, 5,1 Mrd. mit Embeddings) sind im GGUF-Format für Quantisierung verfügbar.

Die Unterstützung umfasst über 35 Sprachen, einschließlich Russisch, mit einem Kontext von 128k Token. Die Modelle funktionieren im LLM-Modus mit Reasoning, Bilderkennung, Video- und Codeverarbeitung.

Ausführung auf GPU

Für Tests auf einer RTX 4090D aus dem Quellcode kompilieren, da das Docker-Image noch nicht aktualisiert ist. Startbefehl:

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

Die Initialisierungsanzeige zeigt CUDA-Nutzung mit 48 GB VRAM, n_parallel=4, kv_unified=true. Die Q8_0-Quantisierung benötigt ca. 10 GB VRAM.

Ohne -b 1024 -ub 1024 drohen Assert-Fehler bei der Audiobearbeitung.

Prompting-Tipps

Google empfiehlt 30-Sekunden-Audioausschnitte, längere Segmente funktionieren mit unterschiedlichem Erfolg.

• ASR (Spracherkennung):

> Transkribiere den folgenden Sprachausschnitt in {SPRACHE} zu {SPRACHE}-Text. Befolge diese spezifischen Formatierungsanweisungen für die Antwort: _Gib nur die Transkription aus, ohne Zeilenumbrüche._ Bei Zahlen Ziffern schreiben, z. B. 1,7 statt "eins Komma sieben", und 3 statt "drei".

• AST (Sprachübersetzung):

> Transkribiere den folgenden Sprachausschnitt aus {QUELLSSPRACHE}, dann übersetze ihn in {ZIELSPRACHE}.

Für die Formatierung zuerst die Transkription in {QUELLSSPRACHE} ausgeben, dann einen Zeilenumbruch, dann den String '{ZIELSPRACHE}: ', gefolgt von der Übersetzung in {ZIELSPRACHE}.

Google AdInline article slot

Qwen3-Unterstützung

Am selben Tag wurde ASR-Integration für Qwen3 hinzugefügt:

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

Diese Modelle erweitern die lokalen Spracherkennungsmöglichkeiten.

Die Funktion ist noch roh: Das Modell interpretiert Prompts nicht immer korrekt. Es braucht Feinschliff und Nutzerfeedback.

Wichtige Erkenntnisse

• llama.cpp unterstützt nun Gemma 4 E4B/E2B-it für ASR, AST und multimodale Aufgaben in über 35 Sprachen.
• -b 1024 -ub 1024 für GPU-Stabilität verwenden.
• 30-Sekunden-Limit empfohlen, längere Clips mit Risiken möglich.
• Bonus: Qwen3-ASR-Modelle im GGUF-Format.
• 128k Kontext, Q8_0 benötigt ~10 GB VRAM auf RTX 4090D.

— Editorial Team