llama.cpp: ASR w Gemma 4 i Qwen3

# llama.cpp: obsługa rozpoznawania mowy w Gemma 4 i Qwen3

W llama.cpp dodano obsługę modeli Gemma 4 do przetwarzania audio. Dzięki temu można uruchamiać ASR (automatyczne rozpoznawanie mowy) i tłumaczenie mowy lokalnie. Modele E4B-it (4,5 mld parametrów, 8 mld z embeddingami) i E2B-it (2,3 mld parametrów, 5,1 mld z embeddingami) są dostępne w formacie GGUF do kwantyzacji.

Obsługa obejmuje ponad 35 języków, w tym polski, z kontekstem 128 tys. tokenów. Modele działają w trybach LLM z rozumowaniem, rozpoznawaniem obrazów, wideo i kodu.

Uruchomienie na GPU

Do testów na RTX 4090D kompiluje się z źródeł, bo obraz Docker jeszcze nie zaktualizowany. Polecenie uruchomienia:

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

Wyjście inicjalizacji pokazuje użycie CUDA z 48 GB VRAM, n_parallel=4, kv_unified=true. Kwantyzacja Q8_0 zajmuje 10 GB VRAM.

Bez parametrów -b 1024 -ub 1024 mogą wystąpić błędy assert w przetwarzaniu audio.

Zalecenia dotyczące promptów

Google podaje limit audio na 30 sekund, ale w praktyce radzi sobie z dłuższymi segmentami o zmiennym powodzeniu.

• ASR (rozpoznawanie mowy):

> Przepisz następujący fragment mowy w języku {LANGUAGE} na tekst w {LANGUAGE}. Postępuj zgodnie z tymi instrukcjami formatowania odpowiedzi: _Wyświetl tylko transkrypcję, bez nowych linii._ Transkrybując liczby, zapisuj cyfry, np. 1,7 zamiast „jedno przecinek siedem”, i 3 zamiast „trzy”.

• AST (tłumaczenie mowy):

> Przepisz następujący fragment mowy w języku {SOURCE_LANGUAGE}, a następnie przetłumacz go na {TARGET_LANGUAGE}.

Formatując odpowiedź, najpierw wyświetl transkrypcję w {SOURCE_LANGUAGE}, potem nową linię, następnie ciąg '{TARGET_LANGUAGE}: ', a potem tłumaczenie w {TARGET_LANGUAGE}.

Google AdInline article slot

Obsługa Qwen3

Tego samego dnia zintegrowano ASR dla Qwen3:

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

Te modele rozszerzają możliwości lokalnego rozpoznawania mowy.

Funkcjonalność jest surowa: model nie zawsze poprawnie interpretuje prompty. Potrzebne dopracowanie i opinie.

Co ważne

• llama.cpp obsługuje teraz Gemma 4 E4B/E2B-it do ASR, AST, multimodalności w ponad 35 językach.
• Obowiązkowe parametry -b 1024 -ub 1024 dla stabilności na GPU.
• Limit audio 30 s, ale dłuższe możliwe z ryzykiem.
• Dodatkowo: Qwen3 do ASR w GGUF.
• Kontekst 128 tys., Q8_0 ~10 GB VRAM na RTX 4090D.

— Editorial Team