llama.cpp: Gemma 4와 Qwen3의 ASR

llama.cpp, Gemma 4와 Qwen3 음성 인식 지원 추가

llama.cpp가 이제 Gemma 4 모델의 오디오 처리를 지원합니다. 이를 통해 로컬 자동 음성 인식(ASR)과 음성 번역이 가능해졌습니다. E4B-it(45억 매개변수, 임베딩 포함 80억)과 E2B-it(23억 매개변수, 임베딩 포함 51억) 모델이 양자화된 GGUF 형식으로 제공됩니다.

35개 이상의 언어(러시아어 포함)를 지원하며, 128k 토큰 컨텍스트를 가집니다. 이 모델들은 LLM 모드에서 추론, 이미지 인식, 비디오, 코드 처리도 함께 작동합니다.

GPU에서 실행하기

RTX 4090D에서 테스트하려면 Docker 이미지가 아직 업데이트되지 않았으므로 소스에서 컴파일하세요. 실행 명령어:

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

초기화 출력에서 CUDA 사용(48GB VRAM), n_parallel=4, kv_unified=true가 표시됩니다. Q8_0 양자화는 약 10GB VRAM을 사용합니다.

-b 1024 -ub 1024 옵션이 없으면 오디오 처리 중 assert 오류가 발생할 수 있습니다.

프롬프트 팁

Google은 30초 오디오 클립을 권장하지만, 더 긴 세그먼트도 성공 여부에 따라 작동합니다.

• ASR (음성 인식):

> 다음 음성 세그먼트를 {LANGUAGE}로 {LANGUAGE} 텍스트로 전사하세요. 답변 형식에 대한 구체적인 지침을 따르세요: _전사본만 출력하고 줄바꿈은 하지 마세요._ 숫자를 전사할 때는 숫자를 쓰세요. 예: 1.7은 '1.7'로, 3은 '3'으로 작성하세요.

• AST (음성 번역):

> 다음 {SOURCE_LANGUAGE} 음성 세그먼트를 전사한 후 {TARGET_LANGUAGE}로 번역하세요.

답변 형식: 먼저 {SOURCE_LANGUAGE} 전사본을 출력한 후 한 줄 띄고, '{TARGET_LANGUAGE}: ' 문자열을 출력한 다음 {TARGET_LANGUAGE} 번역을 출력하세요.

Google AdInline article slot

Qwen3 지원

같은 날 Qwen3에 대한 ASR 통합이 추가되었습니다:

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

이 모델들은 로컬 음성 인식 기능을 확장합니다.

이 기능은 아직 초기 단계로, 모델이 프롬프트를 항상 올바르게 해석하지 않습니다. 개선과 사용자 피드백이 필요합니다.

주요 요약

• llama.cpp가 이제 35개 이상 언어에서 Gemma 4 E4B/E2B-it의 ASR, AST, 멀티모달 작업을 지원합니다.
• GPU 안정성을 위해 -b 1024 -ub 1024 사용하세요.
• 30초 오디오 제한 권장, 더 길면 위험 가능.
• 보너스: GGUF 형식 Qwen3 ASR 모델.
• 128k 컨텍스트, Q8_0은 RTX 4090D에서 ~10GB VRAM 사용.

— Editorial Team