llama.cpp: ASR v Gemma 4 a Qwen3

llama.cpp: podpora rozpoznávání řeči v Gemma 4 a Qwen3

Do llama.cpp byla přidána podpora modelů Gemma 4 pro zpracování audia. To umožňuje spouštět ASR (automatické rozpoznávání řeči) a překlad řeči lokálně. Modely E4B-it (4,5B parametrů, 8B s embeddingy) a E2B-it (2,3B parametrů, 5,1B s embeddingy) jsou dostupné ve formátu GGUF pro kvantizaci.

Podpora zahrnuje 35+ jazyků včetně češtiny, kontext 128k tokenů. Modely fungují v režimech LLM s uvažováním, rozpoznáváním obrázků, videa a kódu.

Spuštění na GPU

Pro testování na RTX 4090D se kompiluje ze zdrojových kódů, protože Docker image ještě není aktualizovaný. Příkaz pro spuštění:

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

Výstup inicializace ukazuje použití CUDA s 48 GB VRAM, n_parallel=4, kv_unified=true. Kvantizace Q8_0 zabírá 10 GB VRAM.

Bez parametrů -b 1024 -ub 1024 mohou nastat selhání kvůli chybě assert v audio zpracování.

Doporučení pro prompty

Google uvádí limit audia na 30 sekund, ale v praxi se zpracovávají i delší segmenty s proměnným úspěchem.

• ASR (rozpoznávání řeči):

> Přepište následující řečový segment v {LANGUAGE} do textu v {LANGUAGE}. Dodržujte tyto specifické pokyny pro formátování odpovědi: _Vypište pouze transkripci bez nových řádků._ Při transkripci čísel pište číslice, např. 1,7 místo jedna čárka sedm, a 3 místo tři.

• AST (překlad řeči):

> Přepište následující řečový segment z {SOURCE_LANGUAGE}, poté ho přeložte do {TARGET_LANGUAGE}.

Při formátování odpovědi nejprve vypisujte transkripci v {SOURCE_LANGUAGE}, pak jeden nový řádek, pak řetězec '{TARGET_LANGUAGE}: ', a následně překlad do {TARGET_LANGUAGE}.

Google AdInline article slot

Podpora Qwen3

Ve stejný den bylo integrováno ASR pro Qwen3:

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

Tyto modely rozšiřují možnosti lokálního rozpoznávání řeči.

Funkcionalita je ještě syrová: model ne vždy správně interpretuje prompty. Je potřeba další vylepšení a zpětná vazba.

Co je důležité

• llama.cpp nyní podporuje Gemma 4 E4B/E2B-it pro ASR, AST, multimodalitu na 35+ jazycích.
• Povinné parametry -b 1024 -ub 1024 pro stabilitu na GPU.
• Limit audia 30 s, ale možné zpracování delších s riziky.
• Navíc: Qwen3 pro ASR v GGUF.
• Kontext 128k, Q8_0 ~10 GB VRAM na RTX 4090D.

— Editorial Team