Open-source tłumacz mowy w czasie rzeczywistym: budowa z Elixir, Rust i Deepgram
Komercyjne usługi tłumaczenia mowy w czasie rzeczywistym nie radzą sobie z płynną pracą w rozmowach. Google Meet tłumaczy tylko 6 języków z opóźnieniem 2-3 sekundy i wymaga płatnej subskrypcji AI Pro. JotMe, Talo i Transync generują napisy zamiast głosu, działają tylko w Chrome lub konkretnych platformach jak Zoom. Korporacyjne Palabra, KUDO, Interprefy kosztują od 300 USD/miesiąc i są nastawione na konferencje.
Urządzenia fizyczne gubią początek fraz, mylą słowa i nie nadają się do żywych rozmów. Żadne rozwiązanie nie zapewnia tłumaczenia głosowego w dowolnej aplikacji bez ograniczeń ekosystemowych.
| Rozwiązanie | Cena | Głos/Napisy | Opóźnienie | Języki | Platformy |
|-------------|------|-------------|------------|--------|-----------|
| Google Meet | Subskrypcja AI Pro | Głos | 2-3s | 6 | Tylko Meet |
| JotMe | 10-15 USD/miesiąc | Napisy | ~1-2s | 77 | Chrome |
| Talo | Subskrypcja | Napisy + bot | ~2s | 60 | Zoom, Meet |
| Palabra | SaaS | Głos | ~0.8s | 25+ | Zoom, Meet |
| KUDO | 300+ USD/miesiąc | Głos + ludzie | ~2-4s | 60+ | Własne |
Własny pipeline: od STT do TTS
Przechwytywanie audio z mikrofonu, rozpoznawanie, tłumaczenie, synteza i routing do wirtualnego mikrofonu. Odwrotny strumień dla mowy rozmówcy. Pełna architektura v3 na Elixir + Rust + Flask (jeden plik), open-source.
Proces:
- STT: Deepgram Nova-3 przez WebSocket, 258-681ms, streaming z pauzami.
- Tłumaczenie: Groq z llama-3.3-70b, 250-560ms, prompt na dosłowne tłumaczenie z tonem.
- TTS: Piper lokalnie, 300-500ms, 29 języków offline.
- Audio: Wirtualny mikrofon/głośnik dla dowolnych aplikacji (Meet, Zoom, Discord).
Całkowite opóźnienie 0.8-1.7s — szybciej niż żywy tłumacz (2-5s).
Wybór komponentów według benchmarków
STT: Deepgram vs alternatywy
- voxtral.c: 15+s lokalnie, błędy na Apple Silicon.
- Groq Whisper: ~500ms, śmieci w chunkach.
- Deepgram: Streaming, sfinalizowany tekst po pauzach.
Tłumaczenie LLM: Groq prowadzi
| Dostawca | Opóźnienie | Cena | Wady |
|----------|------------|------|------|
| Google Translate | 100-300ms | 20 USD/1M | Gorzej niż LLM na mowie potocznej |
| DeepL | 200-500ms | 25 USD/miesiąc | Subskrypcja, gorzej niż LLM |
| OpenAI | 500-1200ms | Płatne | Wolno |
| Groq | 250-560ms | Bezpłatnie | Optymalnie |
llama-3.3-70b na chipach LPU Groq — bezpłatny tier dla podstawowych zadań.
TTS: Piper dla offline
- ElevenLabs: Świetnie, ale 5.57 USD/godzinę.
- Cartesia: 1.26 USD/godzinę.
- Piper: Akceptowalna jakość, bezpłatnie, 29 języków.
Koszt i implementacja
- Deepgram: 200 USD kredytów (setki godzin).
- Groq: Bezpłatnie.
- Piper: Offline.
Razem ~0 USD. Testy na Meet/Zoom z zespołem pokazały: tłumaczenie dokładne w sensie, ale gubi idiomy/sarkazm. Głos Piper brzmi robotycznie (rosyjski 'Dienis' — jak nauczyciel z lat 80.). Opóźnienie + ping sieci = odczuwalne, ale działające.
Instalacja: Elixir do orkiestracji, Rust do audio, Flask jako most. Działa na macOS Apple Silicon.
Co ważne
- Pełna kompatybilność z dowolnymi VoIP: przechwytywanie na poziomie sterowników audio.
- Opóźnienie 0.8-1.7s dzięki streamingowi Deepgram + szybkiemu Groq.
- Bezpłatnie: 200 USD kredytu Deepgram na lata, reszta open-source/bezpłatnie.
- Kompromisy: Piper brzmi jak robot, LLM pomija niuanse mowy potocznej.
- Open-source: repozytorium do rozbudowy (stos Elixir/Rust).
— Editorial Team
Brak komentarzy.