llama.cpp：Gemma 4 和 Qwen3 中的 ASR

llama.cpp 新增 Gemma 4 和 Qwen3 语音识别支持

llama.cpp 现已支持 Gemma 4 模型进行音频处理。这使得本地自动语音识别 (ASR) 和语音翻译成为可能。E4B-it（45 亿参数，含嵌入 80 亿）和 E2B-it（23 亿参数，含嵌入 51 亿）模型已提供 GGUF 格式，支持量化。

支持 35+ 语言，包括俄语，上下文长度达 128k token。这些模型可在 LLM 模式下运行，支持推理、图像识别、视频和代码处理。

GPU 运行

在 RTX 4090D 上测试时，由于 Docker 镜像尚未更新，需从源码编译。启动命令：

./build/bin/llama-server --host 0.0.0.0 --port 8080 \
  --ctx-size 128000 \
  -b 1024 -ub 1024 \
  -hf ggml-org/gemma-4-E4B-it-GGUF:Q8_0

初始化输出显示使用 CUDA，48 GB 显存，n_parallel=4，kv_unified=true。Q8_0 量化约占用 10 GB 显存。

若不加 -b 1024 -ub 1024，音频处理中可能出现断言错误。

提示词技巧

Google 建议使用 30 秒音频片段，但更长片段也可尝试，效果因情况而异。

• ASR（语音识别）：

> 将以下 {LANGUAGE} 语音片段转录为 {LANGUAGE} 文本。请严格遵守以下格式要求：_仅输出转录文本，不加换行。_转录数字时使用数字，如写 1.7 而非 one point seven，写 3 而非 three。

• AST（语音翻译）：

> 将以下 {SOURCE_LANGUAGE} 语音片段转录，然后翻译成 {TARGET_LANGUAGE}。

格式要求：先输出 {SOURCE_LANGUAGE} 转录文本，然后换行，输出字符串 '{TARGET_LANGUAGE}: '，再接 {TARGET_LANGUAGE} 翻译。

Google AdInline article slot

Qwen3 支持

同一天，Qwen3 的 ASR 集成也已添加：

• Qwen3-ASR-1.7B (GGUF)
• Qwen3-Omni-30B-A3B-Thinking-GGUF
• Qwen3-Omni-30B-A3B-Instruct-GGUF

这些模型进一步扩展了本地语音识别能力。

该功能尚处初步阶段：模型有时无法正确解析提示词，需要进一步优化和用户反馈。

关键要点

• llama.cpp 现支持 Gemma 4 E4B/E2B-it 进行 ASR、AST 和多模态任务，覆盖 35+ 语言。
• GPU 运行时使用 -b 1024 -ub 1024 确保稳定性。
• 推荐 30 秒音频限制，更长片段有风险。
• 额外福利：Qwen3 ASR 模型 GGUF 格式。
• 128k 上下文，Q8_0 在 RTX 4090D 上约占 10 GB 显存。

— Editorial Team