Benchmarki STT LLM TTS dla real-time tłumaczenia

Benchmark 30+ głosowych AI dla tłumacza w czasie rzeczywistym: opóźnienia, ceny, optymalny stos

Deweloperzy integrujący AI w systemy głosowe wiedzą: opóźnienie 2 sekundy niszczy naturalność rozmowy. Przetestowano ponad 30 silników STT, LLM i TTS. Wynik: stos z całkowitym opóźnieniem ~870ms na Apple M4. Deepgram + Groq + Kokoro przewyższają Google Meet pod względem prędkości i elastyczności.

Łańcuch pipeline: STT rozpoznaje mowę → LLM tłumaczy → TTS syntezuje. Każde ogniwo ma kluczowe znaczenie dla opóźnienia end-to-end. Poniżej benchmarki, protokoły i pułapki.

STT: liderzy pod kątem streamingu i dokładności

Speech-to-Text określa początek łańcucha. Dla czasu rzeczywistego potrzebny jest streaming z WER <10% i opóźnieniem <300ms.

| Dostawca | Opóźnienie | WER | Cena/min | Streaming |

|-----------|----------|-----|----------|-----------|

| Deepgram Nova-3 | <300ms | ~10% | $0.0059 | Tak |

| AssemblyAI Universal-2 | ~300ms | 8.4% | ~$0.006 | Tak |

| ElevenLabs Scribe v2 | 150ms | ~9% | ~$0.01 | Tak |

| Groq Whisper Large v3 | batch | 10.3% | $0.0028 | Nie |

Deepgram Nova-3 wygrywa dzięki równowadze: stabilny streaming, bonus $200 przy rejestracji wystarczy na 560 godzin. Groq Whisper nie jest stabilny (błędy 503, średnie opóźnienie 2812ms).

LLM do tłumaczenia: TTFT ważniejsze niż tokens/s

Tłumaczenie krótkich fraz (5–15 słów) zależy od Time to First Token. Jakość u Llama 3.3 70B i Gemini Flash jest zbliżona, ale szybkość się różni.

| Dostawca | Model | Tokens/s | TTFT |

|-----------|--------|-----------|------|

| Groq | Llama 3.3 70B | ~750 | ~200ms |

| Cerebras | Llama 8B | 1800 | ~350ms |

| Gemini | 2.5 Flash | 217–245 | 330–450ms |

| Fireworks AI | Llama 3.3 70B | ~800 | ~200ms |

Groq jest optymalne: 200ms TTFT. Lokalne modele Llama 3.2 3B (~100 t/s na MLX) przegrywają pod względem opóźnienia.

TTS: główne ograniczenie

TTS może zniszczyć pipeline, jeśli TTFB >500ms. Cloudowe API przez WebSocket dają x5 lepszych wyników niż sync HTTP. Cena/godzina obliczona na 33 750 znaków (dwa kierunki, 45 minut TTS).

| Dostawca | Model | TTFB | ELO | Cena/1M znaków | Cena/godzina | Rosyjski |

|-----------|--------|------|-----|---------------|----------|---------|

| Cartesia | Sonic Turbo | ~40ms | 1054 | $37–47 | $1.26 | Tak |

| Hume | Octave 2 | <200ms | 1562 | $7.60 | $0.26 | Tak |

| ElevenLabs | Flash v2.5 | ~75ms | 1544 | ~$206 | $5.57 | Tak |

| OpenAI | TTS-1 | ~500ms | 1106 | $15 | $0.51 | Tak |

Ranking ELO (TTS Arena v2, marzec 2026):

• Vocu V3.0 (1600)
• Inworld TTS-1.5-Max (1576)
• Hume Octave 2 (1562)
• ElevenLabs Flash v2.5 (1544)

Lokalne modele na M4 (MacBook Air 24GB, warm):

| Model | Rozmiar | 2–3 słowa | 10 słów | Jakość | Rosyjski |

|--------|--------|-----------|---------|----------|---------|

| Piper ryan-medium | 63MB | 30–50ms | 137ms | B | Tak |

| Kokoro 82M fp16 | 156MB | 370ms | 730ms | A+ | Nie |

| ZipVoice 123M | 123MB | ~500ms | 1240ms | B+ | Nie |

Trend: modele 0.5–2B parametrów (Chatterbox, Qwen3-TTS) dają 6–19s na frazę bez GPU.

Realne benchmarki end-to-end

5 fraz, warm, średni TTFB (M4):

| Dostawca | Model | Protokół | Średni TTFB | Min | Max | Cena/1M |

|-----------|--------|----------|----------|-----|-----|----------|

| Cartesia | Sonic-2 | WebSocket | 245ms | 208ms | 281ms | $37–47 |

| Kokoro | 82M | lokalny MLX | 313ms | 259ms | 340ms | darmowy |

| ElevenLabs | Flash v2.5 | WebSocket | 395ms | 309ms | 551ms | ~$206 |

| Cartesia | Sonic-2 | sync SDK | 1361ms | 1173ms | 1567ms | $37–47 |

WebSocket vs sync: 245ms przeciwko 1361ms (x5.5).

Kluczowe pułapki i odkrycia

• Protokół decyduje: Zawsze WebSocket dla czasu rzeczywistego. Sync API distortuje rzeczywistość.
• Kwantyzacja na Apple Silicon spowalnia: Kokoro fp16 (373ms) vs INT8 (687ms) — narzut konwersji.
• Rosyjski — problem open-source: Piper jest przestarzały, duże modele są powolne. Chmura = $$$.
• Ekonomiczna jednostka ElevenLabs: $5.57/godzina vs Cartesia $1.26/godzina przy zbliżonym ELO.

Kokoro 82M (fp16, 4 wątki): 373ms na 2 słowa, jakość A+, 28 głosów angielskich. Brak streamingu — całkowity czas.

Ostateczny stos i opóźnienie

Deepgram Nova-3 (~300ms) → Groq Llama 3.3 70B (~200ms) → StreamChunker (2–3 słowa, ~100ms) → Kokoro 82M (~370ms). Razem ~870ms do pierwszego dźwięku.

Co ważne:

• WebSocket jest wymagany dla TTS <300ms.
• Groq lideruje pod względem TTFT dla LLM.
• Kokoro 82M to top open-source dla EN, ale bez RU.
• ElevenLabs jest drogie: liczyj $/godzina z góry.
• Deepgram oferuje bonus $200 na 560 godzin STT.

— Editorial Team