STT LLM TTS Benchmarks für Echtzeit-Übersetzung

30+ Voice AI Benchmarks für Echtzeit-Übersetzung: Latenz, Preise, optimale Stack-Konfiguration

Sprache zu Text ist der erste Schritt im Pipeline-Prozess. Für Echtzeitanwendungen sind kontinuierlicher Stream mit WER <10 % und Latenz unter 300 ms essenziell.

| Anbieter | Latenz | WER | Preis/Minute | Streaming |

|----------|---------|-----|--------------|-----------|

| Deepgram Nova-3 | <300ms | ~10% | $0,0059 | Ja |

| AssemblyAI Universal-2 | ~300ms | 8,4% | ~$0,006 | Ja |

| ElevenLabs Scribe v2 | 150ms | ~9% | ~$0,01 | Ja |

| Groq Whisper Large v3 | Batch | 10,3% | $0,0028 | Nein |

Deepgram Nova-3 setzt sich durch: stabiler Streaming, Bonus von $200 beim Registrieren deckt 560 Stunden Nutzung ab. Groq Whisper ist instabil (503-Fehler, Durchschnitt 2812ms).

LLM für Übersetzung: TTFT zählt mehr als Tokens/s

Die Übersetzung kurzer Phrasen (5–15 Wörter) hängt entscheidend von der Zeit bis zum ersten Token ab. Die Qualität zwischen Llama 3.3 70B und Gemini Flash ist vergleichbar, die Geschwindigkeit jedoch sehr unterschiedlich.

| Anbieter | Modell | Tokens/s | TTFT |

|----------|-------|----------|------|

| Groq | Llama 3.3 70B | ~750 | ~200ms |

| Cerebras | Llama 8B | 1800 | ~350ms |

| Gemini | 2.5 Flash | 217–245 | 330–450ms |

| Fireworks AI | Llama 3.3 70B | ~800 | ~200ms |

Groq ist optimal: 200ms TTFT. Lokale Llama 3.2 3B (~100 t/s auf MLX) bleibt in der Latenz hinterher.

TTS: Der Engpass, den man nicht ignorieren kann

TTS bricht die Pipeline, wenn die TTFB über 500ms liegt. Cloud-APIs über WebSocket bieten gegenüber synchronen HTTP-Aufrufen ein fünffaches Vorteil. Preis/Stunde basiert auf 33.750 Zeichen (zwei Richtungen, 45 Minuten TTS).

| Anbieter | Modell | TTFB | ELO | Preis/1M Zeichen | Preis/Stunde | Russisch |

|----------|-------|------|-----|------------------|------------|----------|

| Cartesia | Sonic Turbo | ~40ms | 1054 | $37–47 | $1,26 | Ja |

| Hume | Octave 2 | <200ms | 1562 | $7,60 | $0,26 | Ja |

| ElevenLabs | Flash v2.5 | ~75ms | 1544 | ~$206 | $5,57 | Ja |

| OpenAI | TTS-1 | ~500ms | 1106 | $15 | $0,51 | Ja |

ELO-Rating (TTS Arena v2, März 2026):

• Vocu V3.0 (1600)
• Inworld TTS-1.5-Max (1576)
• Hume Octave 2 (1562)
• ElevenLabs Flash v2.5 (1544)

Lokale Modelle auf M4 (MacBook Air 24GB, warm):

| Modell | Größe | 2–3 Wörter | 10 Wörter | Qualität | Russisch |

|--------|-------|------------|-----------|----------|----------|

| Piper ryan-medium | 63MB | 30–50ms | 137ms | B | Ja |

| Kokoro 82M fp16 | 156MB | 370ms | 730ms | A+ | Nein |

| ZipVoice 123M | 123MB | ~500ms | 1240ms | B+ | Nein |

Trend: 0,5–2B-Parameter-Modelle (Chatterbox, Qwen3-TTS) erzeugen Phrasen in 6–19 Sekunden ohne GPU.

Echte End-to-End-Benchmarks

5 Phrasen, warm, durchschnittliche TTFB (M4):

| Anbieter | Modell | Protokoll | Durchschnittliche TTFB | Min | Max | Preis/1M |

|----------|--------|-----------|------------------------|-----|-----|----------|

| Cartesia | Sonic-2 | WebSocket | 245ms | 208ms | 281ms | $37–47 |

| Kokoro | 82M | lokal MLX | 313ms | 259ms | 340ms | kostenlos |

| ElevenLabs | Flash v2.5 | WebSocket | 395ms | 309ms | 551ms | ~$206 |

| Cartesia | Sonic-2 | sync SDK | 1361ms | 1173ms | 1567ms | $37–47 |

WebSocket vs. sync: 245ms vs. 1361ms (x5,5 Differenz).

Hauptfallstricke und Entdeckungen

• Das Protokoll macht den Unterschied: Immer WebSocket für Echtzeit nutzen. Sync-APIs verfälschen die Realität.
• Quantisierung auf Apple Silicon verlangsamt: Kokoro fp16 (373ms) vs. INT8 (687ms) – Umwandlungsüberhead.
• Russisch bleibt eine Herausforderung für Open Source: Piper ist veraltet; große Modelle sind langsam. Cloud = hohe Kosten.
• ElevenLabs-Wirtschaftlichkeit: $5,57/Stunde vs. Cartesia $1,26/Stunde bei ähnlicher ELO.

Kokoro 82M (fp16, 4 Threads): 373ms für 2 Wörter, A+-Qualität, 28 englische Stimmen. Kein Streaming – Gesamtzeit.

Endgültiger Stack und Latenz

Deepgram Nova-3 (~300ms) → Groq Llama 3.3 70B (~200ms) → StreamChunker (2–3 Wörter, ~100ms) → Kokoro 82M (~370ms). Gesamt: ~870ms bis zur ersten Audioausgabe.

Wichtig:

• WebSocket ist obligatorisch für TTS unter 300ms.
• Groq führt bei TTFT für LLMs.
• Kokoro 82M ist Spitzenmodell für Englisch im Open Source, aber kein Russisch.
• ElevenLabs ist teuer: Kalkuliere $/Stunde im Vorfeld.
• Deepgram bietet $200 Bonus für 560 Stunden STT.

— Editorial Team