Architektura AI asistenta pro schůzky: transkripce, LLM, integrace

Architektura AI asistenta pro videokonference: od přepisu k protokolům

Vývoj AI asistenta pro automatizaci pracovních schůzek vyžaduje komplexní přístup, který spojuje několik technologických komponentů. Systém musí být schopen připojit se k videokonferencím, přepisovat řeč, identifikovat mluvčí a generovat strukturované protokoly. Takový nástroj je obzvláště účinný pro pravidelné porady, kde pomáhá uchovávat kontext a automatizovat rutinní úkoly, jako je vytváření úkolů v Jira na základě diskuse.

Výběr a nastavení přepisovače

Kvalita přepisu je základem pro celou službu. Pro zpracování nahraného zvuku se doporučuje používat offline přepis pomocí WhisperX. Tento model zajišťuje dobrou kvalitu pro češtinu a podporuje vlastní slovníky, což je kritické pro rozpoznávání obchodní terminologie.

Klíčové kroky při výběru modelu:

• Hodnocení podle zpětné vazby komunity (WhisperX — častá volba).
• Srovnání s komerčními API (Deepgram, Google Speech Kit) na testovacím vzorku nahrávek.
• Ruční kontrola přepisů pro výpočet metrik WER/CER a analýzu typických chyb.

Pro integraci se vytváří asynchronní API, které přijímá audio soubor a příznak diarize. Výsledek se vrací podle task_id.

Příklad výstupních dat přepisovače s diarizací:

speaker_1 00:00-00:13 ahoj kluci, svolal jsem vás na hodinovou schůzku, abyste mi pomohli najít tlačítko, které je jasně popsáno v dokumentaci
speaker_2 00:13-00:18 jak jsi otravný, proboha, otevři dokumentaci

Připojení k systémům videokomunikace

Pro automatické připojení ke konferencím je potřeba konektor, který určí platformu (Google Meet, Zoom, Teams) podle odkazu. Implementace založená na Playwright umožňuje spouštět izolované kontejnery s boty, které nahrávají audio a video.

Technické detaily implementace:

• Použití režimu handle v Playwright pro izolaci relací.
• Záznam zvuku a videa v minimálním rozlišení (například 800×600) pro následné zpracování.
• Zohlednění anti-flood limitů platforem při hromadných připojeních.

Řízení přes rozhraní a kalendář

Služba by měla podporovat několik vstupních bodů pro plánování záznamu schůzek:

• Telegram bot pro rychlé přidávání odkazů.
• Webová panel s nastaveními.
• Automatická integrace s pracovním kalendářem pomocí parsování e-mailů (SMTP/IMAP) s ICS přílohami nebo textovými pozvánkami.

Plánovač odesílá odkazy z kalendáře do API konektoru ve správný čas, zajišťující automatické připojení bota k naplánovaným událostem.

Identifikace účastníků schůzky

Po obdržení přepisu s diarizací vyvstává úkol přiřadit mluvčí k jejich jménům. Hlavní metoda — analýza video snímků, kde videoplatformy často zobrazují jméno aktivního účastníka.

Algoritmus identifikace:

• Z videa podle časových kódů řeči mluvčího se extrahují náhodné snímky.
• Oblast s jménem se odešle do OCR API (například Surya OCR).
• Nejčastěji se vyskytující jméno v snímcích se přiřadí mluvčímu.

Omezení: účastníci v jednacích místnostech (kde se zobrazuje jedno jméno na skupinu) se identifikují jako "mluvčí z jednací místnosti". Alternativní přístup — použití hlasových embeddingů, ale vyžaduje ukládání biometrických dat a je spojen s právními obtížemi.

Generování protokolů pomocí LLM

Přepsaný text se předá do jazykového modelu (například nasazeného přes vLLM) pro strukturování. Prompt se nastavuje na structured output, aby model vracel JSON s klíčovými body diskuse, rozhodnutími a úkoly.

Co je důležité

• Kvalita přepisu přímo ovlivňuje práci všech následujících modulů, zejména LLM.
• Integrace s kalendářem umožňuje zcela automatizovat proces záznamu pravidelných schůzek.
• Identifikace mluvčích přes OCR videa — praktická metoda, ale má omezení pro skupinové účastníky.
• Architektura založená na mikroslužbách (samostatná API pro přepis, OCR, LLM) zajišťuje škálovatelnost a spolehlivost.
• Bezpečnost dat — kritická při práci s hlasovými embeddingy nebo integrací RAG s přístupem k historii schůzek.

Získaný JSON se poté převede na čitelný protokol (HTML, Markdown) nebo se použije pro automatické vytváření úkolů v systémech jako Jira přes function calling. Tím se záznam schůzky promění v akční výsledky.

Další možnosti: RAG a Wake Word Detection

Pro rozšíření funkcionality lze přidat dva moduly:

• Retrieval-Augmented Generation (RAG): umožňuje asistentovi odpovídat na otázky podle historie minulých schůzek bez uvedení konkrétního data. Vyžaduje jasný systém oprávnění pro přístup k datům.
• Wake Word Detection: real-time model pro aktivaci asistenta hlasovým příkazem přímo během schůzky. Umožňuje dávat pokyny ("zapiš do seznamu úkolů") nebo klást otázky v průběhu diskuse, s možností přečtení odpovědí přes TTS do společného chatu.

Závěr

Budování AI asistenta pro videokonference je inženýrská úloha, která spojuje zpracování zvuku, počítačové vidění, LLM a integraci s externími API. Navržená architektura je modulární a umožňuje začít se základním přepisem, postupně přidávat identifikaci mluvčích, generování protokolů a interaktivní funkce. Úspěch závisí na přesném nastavení každé komponenty a zohlednění požadavků na výkon a bezpečnost dat.

— Editorial Team