STT LLM TTS 实时翻译基准测试

30+ 语音AI基准测试：实时翻译延迟、价格与最佳技术栈

开发人员在集成AI到语音系统时深知：2秒延迟会彻底破坏对话流畅性。我们测试了超过30种STT、LLM和TTS引擎，结果发现，在Apple M4设备上总延迟仅约870毫秒的组合方案，不仅速度超越Google Meet，灵活性也更胜一筹。

处理流程为：STT识别语音 → LLM翻译 → TTS合成。每个环节都直接影响端到端延迟。以下是详细基准数据、协议对比及常见陷阱。

STT：流式传输与准确率双优的领先者

语音转文字是整个流程的第一步。对于实时应用，必须实现流式传输、词错误率（WER）低于10%，且延迟低于300毫秒。

| 提供商 | 延迟 | WER | 每分钟价格 | 流式支持 |

|----------|---------|-----|--------------|-----------|

| Deepgram Nova-3 | <300ms | ~10% | $0.0059 | 是 |

| AssemblyAI Universal-2 | ~300ms | 8.4% | ~$0.006 | 是 |

| ElevenLabs Scribe v2 | 150ms | ~9% | ~$0.01 | 是 |

| Groq Whisper Large v3 | 批处理 | 10.3% | $0.0028 | 否 |

Deepgram Nova-3 在综合表现上胜出：稳定流式传输，且注册即送200美元奖金，可覆盖560小时使用量。Groq Whisper则不稳定（频繁出现503错误，平均延迟达2812毫秒）。

LLM翻译：首次令牌时间（TTFT）比每秒词数更重要

翻译短语（5–15词）的关键在于首次令牌响应时间（TTFT）。尽管Llama 3.3 70B与Gemini Flash在质量上接近，但速度差异显著。

| 提供商 | 模型 | 每秒词数 | TTFT |

|----------|-------|----------|------|

| Groq | Llama 3.3 70B | ~750 | ~200ms |

| Cerebras | Llama 8B | 1800 | ~350ms |

| Gemini | 2.5 Flash | 217–245 | 330–450ms |

| Fireworks AI | Llama 3.3 70B | ~800 | ~200ms |

Groq表现最优：TTFT仅200毫秒。本地部署的Llama 3.2 3B模型（在MLX上约100词/秒）在延迟方面明显落后。

TTS：不可忽视的性能瓶颈

若TTFB超过500毫秒，TTS将拖垮整个流程。通过WebSocket的云API相比同步HTTP接口快约5倍。计费以33,750字符为单位（双向，45分钟语音合成）。

| 提供商 | 模型 | TTFB | ELO | 每百万字符价格 | 每小时价格 | 支持俄语 |

|----------|-------|------|-----|----------------|------------|---------|

| Cartesia | Sonic Turbo | ~40ms | 1054 | $37–47 | $1.26 | 是 |

| Hume | Octave 2 | <200ms | 1562 | $7.60 | $0.26 | 是 |

| ElevenLabs | Flash v2.5 | ~75ms | 1544 | ~$206 | $5.57 | 是 |

| OpenAI | TTS-1 | ~500ms | 1106 | $15 | $0.51 | 是 |

ELO评分（TTS Arena v2，2026年3月）：

• Vocu V3.0（1600）
• Inworld TTS-1.5-Max（1576）
• Hume Octave 2（1562）
• ElevenLabs Flash v2.5（1544）

本地模型在M4设备上的表现（MacBook Air 24GB，预热后）：

| 模型 | 参数量 | 2–3词延迟 | 10词延迟 | 质量 | 支持俄语 |

|-------|------|-----------|----------|---------|---------|

| Piper ryan-medium | 63MB | 30–50ms | 137ms | B | 是 |

| Kokoro 82M fp16 | 156MB | 370ms | 730ms | A+ | 否 |

| ZipVoice 123M | 123MB | ~500ms | 1240ms | B+ | 否 |

趋势：0.5–2B参数模型（如Chatterbox、Qwen3-TTS）在无GPU情况下生成短语需6–19秒。

真实端到端基准测试

5个短语，预热状态，M4设备平均TTFB：

| 提供商 | 模型 | 协议 | 平均TTFB | 最小值 | 最大值 | 每百万价格 |

|----------|-------|----------|----------|-----|-----|----------|

| Cartesia | Sonic-2 | WebSocket | 245ms | 208ms | 281ms | $37–47 |

| Kokoro | 82M | 本地MLX | 313ms | 259ms | 340ms | 免费 |

| ElevenLabs | Flash v2.5 | WebSocket | 395ms | 309ms | 551ms | ~$206 |

| Cartesia | Sonic-2 | 同步SDK | 1361ms | 1173ms | 1567ms | $37–47 |

WebSocket vs 同步：245ms vs 1361ms（相差5.5倍）。

关键陷阱与发现

• 协议决定成败：实时场景必须使用WebSocket。同步API会严重扭曲真实体验。
• Apple Silicon上的量化反而拖慢速度：Kokoro fp16（373ms） vs INT8（687ms）——转换开销显著。
• 开源模型对俄语支持仍存挑战：Piper已过时；大型模型响应慢；云端成本高。
• ElevenLabs经济模型不划算：每小时5.57美元，而Cartesia仅1.26美元，且ELO评分相近。

Kokoro 82M（fp16，4线程）：2词生成耗时373毫秒，质量A+，支持28种英文发音。不支持流式传输，总耗时即为全部时间。

最终技术栈与延迟分析

Deepgram Nova-3（~300ms）→ Groq Llama 3.3 70B（~200ms）→ StreamChunker（2–3词，~100ms）→ Kokoro 82M（~370ms）。总延迟：约870毫秒即可输出首段音频。

核心要点：

• TTS延迟低于300毫秒，WebSocket是强制要求。
• Groq在LLM的TTFT方面遥遥领先。
• Kokoro 82M是目前最佳开源英语TTS，但不支持俄语。
• ElevenLabs价格昂贵，建议提前核算每小时成本。
• Deepgram提供200美元注册奖励，可覆盖560小时的STT使用。

— Editorial Team