실시간 번역을 위한 STT LLM TTS 벤치마크

실시간 번역을 위한 30개 이상의 음성 AI 벤치마크: 지연, 가격, 최적 스택

개발자들이 음성 시스템에 AI를 통합할 때 가장 중요한 것은 바로 2초 지연이 대화 흐름을 완전히 끊는다는 점이다. STT, LLM, TTS 엔진 30개 이상을 테스트한 결과, 애플 M4에서 총 지연이 약 870ms인 스택이 구글 미트보다 빠르고 유연하다.

파이프라인 체인: STT가 음성을 인식 → LLM이 번역 → TTS가 음성 합성. 각 구성 요소는 종단 간 지연에 결정적인 영향을 미친다. 아래는 벤치마크, 프로토콜, 그리고 피해야 할 함정들이다.

STT: 스트리밍과 정확도에서 선두 주자

음성 인식은 파이프라인의 시작점이다. 실시간 사용을 위해서는 WER <10%와 지연 <300ms의 스트리밍이 필수적이다.

| 제공업체 | 지연 | WER | 분당 가격 | 스트리밍 |

|----------|---------|-----|--------------|-----------|

| Deepgram Nova-3 | <300ms | ~10% | $0.0059 | 예 |

| AssemblyAI Universal-2 | ~300ms | 8.4% | ~$0.006 | 예 |

| ElevenLabs Scribe v2 | 150ms | ~9% | ~$0.01 | 예 |

| Groq Whisper Large v3 | 배치 | 10.3% | $0.0028 | 아니오 |

Deepgram Nova-3는 균형 잡힌 성능으로 우위를 차지한다: 안정적인 스트리밍과 함께 $200 신규가입 보너스로 560시간 사용 가능. 반면 Groq Whisper는 불안정(503 오류, 평균 2812ms)하다.

번역용 LLM: 토큰/초보다 TTFT가 더 중요하다

짧은 문장(5~15단어) 번역은 '첫 토큰 도착 시간'(TTFT)에 달려 있다. Llama 3.3 70B와 Gemini Flash의 품질은 비슷하지만 속도는 매우 다르다.

| 제공업체 | 모델 | 토큰/초 | TTFT |

|----------|-------|----------|------|

| Groq | Llama 3.3 70B | ~750 | ~200ms |

| Cerebras | Llama 8B | 1800 | ~350ms |

| Gemini | 2.5 Flash | 217–245 | 330–450ms |

| Fireworks AI | Llama 3.3 70B | ~800 | ~200ms |

Groq가 최적: TTFT 200ms. 로컬에서 실행하는 Llama 3.2 3B(MXL 기준 ~100 t/s)는 지연 면에서 뒤처진다.

TTS: 무시할 수 없는 성능 저하 지점

TTFB가 500ms를 초과하면 TTS가 파이프라인의 버블링 지점이 된다. WebSocket을 통한 클라우드 API는 동기 HTTP보다 약 5배 빠르다. 가격은 33,750자(양방향, 45분 TTS 기준) 기준이다.

| 제공업체 | 모델 | TTFB | ELO | 100만 자당 가격 | 시간당 가격 | 러시아어 |

|----------|-------|------|-----|----------------|------------|---------|

| Cartesia | Sonic Turbo | ~40ms | 1054 | $37–47 | $1.26 | 예 |

| Hume | Octave 2 | <200ms | 1562 | $7.60 | $0.26 | 예 |

| ElevenLabs | Flash v2.5 | ~75ms | 1544 | ~$206 | $5.57 | 예 |

| OpenAI | TTS-1 | ~500ms | 1106 | $15 | $0.51 | 예 |

ELO 평점 (TTS Arena v2, 2026년 3월):

• Vocu V3.0 (1600)
• Inworld TTS-1.5-Max (1576)
• Hume Octave 2 (1562)
• ElevenLabs Flash v2.5 (1544)

M4 기반 로컬 모델 (MacBook Air 24GB, 웜 상태):

| 모델 | 크기 | 2~3단어 | 10단어 | 품질 | 러시아어 |

|-------|------|-----------|----------|---------|---------|

| Piper ryan-medium | 63MB | 30–50ms | 137ms | B | 예 |

| Kokoro 82M fp16 | 156MB | 370ms | 730ms | A+ | 아니오 |

| ZipVoice 123M | 123MB | ~500ms | 1240ms | B+ | 아니오 |

추세: 0.5~2B 매개변수 모델(Chatterbox, Qwen3-TTS)은 GPU 없이도 6~19초 내에 문장을 생성한다.

실제 종단 간 벤치마크

5개 문장, 웜 상태, M4 기준 평균 TTFB:

| 제공업체 | 모델 | 프로토콜 | 평균 TTFB | 최소 | 최대 | 100만 자당 가격 |

|----------|-------|----------|----------|-----|-----|----------|

| Cartesia | Sonic-2 | WebSocket | 245ms | 208ms | 281ms | $37–47 |

| Kokoro | 82M | 로컬 MLX | 313ms | 259ms | 340ms | 무료 |

| ElevenLabs | Flash v2.5 | WebSocket | 395ms | 309ms | 551ms | ~$206 |

| Cartesia | Sonic-2 | 동기 SDK | 1361ms | 1173ms | 1567ms | $37–47 |

WebSocket vs 동기: 245ms vs 1361ms (약 5.5배 차이).

핵심 함정과 발견 사항

• 프로토콜이 성패를 좌우한다: 실시간에서는 반드시 WebSocket을 사용해야 한다. 동기 API는 현실을 왜곡한다.
• 애플 실리콘에서의 양자화는 속도를 늦춘다: Kokoro fp16(373ms) vs INT8(687ms) — 변환 오버헤드 문제.
• 오픈소스 모델은 러시아어 처리에 여전히 어려움: Piper는 오래됨; 대규모 모델은 느림. 클라우드는 비용이 높다.
• ElevenLabs의 단위 경제성: 시간당 $5.57 vs Cartesia의 $1.26, ELO 수준은 유사.

Kokoro 82M (fp16, 4스레드): 2단어 처리 시 373ms, A+ 품질, 28개 영어 음성. 스트리밍 없음 — 전체 소요 시간.

최종 스택과 지연 시간

Deepgram Nova-3 (~300ms) → Groq Llama 3.3 70B (~200ms) → StreamChunker (2~3단어, ~100ms) → Kokoro 82M (~370ms). 총 지연: 약 870ms 내 첫 음성 출력.

핵심 포인트:

• TTS 지연이 300ms 이하라면 WebSocket은 필수다.
• LLM의 경우 Groq가 TTFT에서 선도적이다.
• Kokoro 82M은 영어 오픈소스 중 최고지만 러시아어 지원 없음.
• ElevenLabs는 비용이 높으므로 시간당 가격을 미리 계산해야 한다.
• Deepgram은 STT 사용량 560시간 기준 $200 보너스 제공.

— Editorial Team