Benchmarky STT LLM TTS pro real-time překlad

Benchmarks 30+ hlasových AI pro překlad v reálném čase: zpoždění, ceny, optimální kombinace

Vývojáři, kteří integrují AI do hlasových systémů, vědí: zpoždění 2 sekundy zničí přirozenost rozhovoru. Otestováno více než 30 engínů STT, LLM a TTS. Výsledek: kombinace Deepgram + Groq + Kokoro překonává Google Meet podle rychlosti i flexibilnosti s celkovou latencí kolem 870 ms na Apple M4.

Cesta pipeline: STT rozpozná řeč → LLM přeloží → TTS syntetizuje. Každý prvek je klíčový pro end-to-end zpoždění. Níže naleznete benchmarky, protokoly a nejčastější chyby.

STT: Lídrů v streamování a přesnosti

Speech-to-Text určuje začátek procesu. Pro reálný překlad je potřeba streamování s WER <10 % a latencí <300 ms.

| Poskytovatel | Zpoždění | WER | Cena/min | Streamování |

|-----------|----------|-----|----------|-----------|

| Deepgram Nova-3 | <300 ms | ~10 % | $0.0059 | Ano |

| AssemblyAI Universal-2 | ~300 ms | 8.4 % | ~$0.006 | Ano |

| ElevenLabs Scribe v2 | 150 ms | ~9 % | ~$0.01 | Ano |

| Groq Whisper Large v3 | batch | 10.3 % | $0.0028 | Ne |

Deepgram Nova-3 vyhrává díky vyváženosti: stabilní streamování, bonus $200 při registraci stačí na 560 hodin. Groq Whisper je nestabilní (chyby 503, průměrné zpoždění 2812 ms).

LLM pro překlad: TTFT je důležitější než tokens/s

Překlad krátkých frází (5–15 slov) závisí na Time to First Token. Kvalita u Llama 3.3 70B a Gemini Flash je podobná, rychlost se liší.

| Poskytovatel | Model | Tokens/s | TTFT |

|-----------|--------|-----------|------|

| Groq | Llama 3.3 70B | ~750 | ~200 ms |

| Cerebras | Llama 8B | 1800 | ~350 ms |

| Gemini | 2.5 Flash | 217–245 | 330–450 ms |

| Fireworks AI | Llama 3.3 70B | ~800 | ~200 ms |

Groq je optimální: 200 ms TTFT. Lokální Llama 3.2 3B (~100 t/s na MLX) prohrává kvůli zpoždění.

TTS: hlavní omezení v systému

TTS může způsobit zablokování pipeline, pokud TTFB >500 ms. Cloudové API přes WebSocket mají pětinásobné výhody oproti sync HTTP. Cena/hodina je vypočítána pro 33 750 znaků (dvě směry, 45 minut TTS).

| Poskytovatel | Model | TTFB | ELO | Cena/1M znaků | Cena/hodina | Ruština |

|-----------|--------|------|-----|---------------|----------|---------|

| Cartesia | Sonic Turbo | ~40 ms | 1054 | $37–47 | $1.26 | Ano |

| Hume | Octave 2 | <200 ms | 1562 | $7.60 | $0.26 | Ano |

| ElevenLabs | Flash v2.5 | ~75 ms | 1544 | ~$206 | $5.57 | Ano |

| OpenAI | TTS-1 | ~500 ms | 1106 | $15 | $0.51 | Ano |

Hodnocení ELO (TTS Arena v2, březen 2026):

• Vocu V3.0 (1600)
• Inworld TTS-1.5-Max (1576)
• Hume Octave 2 (1562)
• ElevenLabs Flash v2.5 (1544)

Lokální modely na M4 (MacBook Air 24 GB, warm):

| Model | Velikost | 2–3 slova | 10 slov | Kvalita | Ruština |

|--------|--------|-----------|---------|----------|---------|

| Piper ryan-medium | 63 MB | 30–50 ms | 137 ms | B | Ano |

| Kokoro 82M fp16 | 156 MB | 370 ms | 730 ms | A+ | Ne |

| ZipVoice 123M | 123 MB | ~500 ms | 1240 ms | B+ | Ne |

Trend: modely 0,5–2B parametrů (Chatterbox, Qwen3-TTS) generují frázi za 6–19 sekund bez GPU.

Skutečné end-to-end benchmarky

5 frází, warm, průměrné TTFB (M4):

| Poskytovatel | Model | Protokol | Průměrné TTFB | Min | Max | Cena/1M |

|-----------|--------|----------|----------|-----|-----|----------|

| Cartesia | Sonic-2 | WebSocket | 245 ms | 208 ms | 281 ms | $37–47 |

| Kokoro | 82M | lokální MLX | 313 ms | 259 ms | 340 ms | zdarma |

| ElevenLabs | Flash v2.5 | WebSocket | 395 ms | 309 ms | 551 ms | ~$206 |

| Cartesia | Sonic-2 | sync SDK | 1361 ms | 1173 ms | 1567 ms | $37–47 |

WebSocket vs sync: 245 ms proti 1361 ms (x5.5).

Klíčové chytáky a objevy

• Protokol rozhoduje: Vždy používejte WebSocket pro reálný čas. Sync API zkresluje realitu.
• Kvantizace na Apple Silicon zpomaluje: Kokoro fp16 (373 ms) vs INT8 (687 ms) – nadbytečná převodní náročnost.
• Ruština je problém open-source: Piper je zastaralý, velké modely pomalé. Cloud = $$$.
• Unit-ekonomika ElevenLabs: $5.57/hodina proti Cartesia $1.26/hodina při podobném ELO.

Kokoro 82M (fp16, 4 vlákna): 373 ms na 2 slova, kvalita A+, 28 anglických hlasů. Bez streamování – celkový čas.

Finální stack a zpoždění

Deepgram Nova-3 (~300 ms) → Groq Llama 3.3 70B (~200 ms) → StreamChunker (2–3 slova, ~100 ms) → Kokoro 82M (~370 ms). Celkem ~870 ms do prvního zvuku.

Co je důležité:

• WebSocket je nutný pro TTS <300 ms.
• Groq vedoucí v TTFT pro LLM.
• Kokoro 82M je top open-source pro EN, ale bez RU.
• ElevenLabs je drahý: počítejte $/hodina dopředu.
• Deepgram nabízí $200 bonus na 560 hodin STT.

— Editorial Team