KI-Assistent-Architektur für Meetings: Transkription, LLM, Integration

Architektur eines KI-Assistenten für Videokonferenzen: Von Transkription bis Protokoll

Die Entwicklung eines KI-Assistenten zur Automatisierung von Arbeitsmeetings erfordert einen umfassenden Ansatz, der mehrere technische Komponenten verknüpft. Das System muss Videocalls beitreten, Sprache transkribieren, Sprecher identifizieren und strukturierte Protokolle erstellen. Dieses Tool eignet sich besonders für wiederkehrende Meetings, um Kontext zu erhalten und Routineaufgaben wie die Erstellung von Jira-Tickets aus Diskussionen zu automatisieren.

Auswahl und Einrichtung des Transkriptionsmotors

Die Qualität der Transkription bildet die Grundlage des gesamten Dienstes. Für die Verarbeitung aufgezeichneter Audios ist eine Offline-Transkription mit WhisperX eine Top-Wahl. Sie liefert zuverlässige Ergebnisse für Russisch und unterstützt benutzerdefinierte Vokabulare, was entscheidend für Fachbegriffe im Business ist.

Wichtige Schritte zur Modellauswahl:

• Community-Feedback prüfen (WhisperX ist ein beliebter Favorit).
• Gegen kommerzielle APIs (Deepgram, Google Speech-to-Text) auf einem Testset von Aufnahmen benchmarken.
• Transkriptionen manuell überprüfen, um WER/CER-Metriken zu berechnen und häufige Fehler zu identifizieren.

Die Integration erfolgt über eine asynchrone API, die eine Audiodatei und eine diarize-Flagge nimmt. Ergebnisse werden über task_id zurückgegeben.

Beispielausgabe des Transkribers mit Diarisierung:

speaker_1 00:00-00:13 Hey Leute, ich habe euch für eine einstündige Besprechung zusammengerufen, um mir bei der Suche nach diesem gut dokumentierten Knopf zu helfen
speaker_2 00:13-00:18 Du bringst mich um, ernsthaft, schau einfach in die Docs

Anbindung an Videokonferenz-Plattformen

Für ein nahtloses automatisches Beitreten von Calls braucht man einen Connector, der die Plattform (Google Meet, Zoom, Teams) aus dem Link erkennt. Eine Playwright-basierte Umsetzung startet isolierte Container mit Bots, die Audio und Video aufnehmen.

Umsetzungsdetails:

• Playwrights Handle-Modus für Sitzungsisolation nutzen.
• Audio und Video in niedriger Auflösung (z. B. 800×600) aufzeichnen, um effiziente Verarbeitung zu gewährleisten.
• Plattform-spezifische Anti-Flood-Limits bei Massenbeitritten beachten.

Steuerung über Interfaces und Kalender

Der Dienst unterstützt mehrere Einstiegspunkte zur Planung von Call-Aufzeichnungen:

• Telegram-Bot für schnelles Hinzufügen von Links.
• Web-Dashboard für Einstellungen.
• Automatische Integration in Arbeitskalender durch Parsen von E-Mails (SMTP/IMAP) mit ICS-Anhängen oder Text-Einladungen.

Ein Scheduler schiebt Kalenderlinks zum richtigen Zeitpunkt an die Connector-API, sodass Bots geplante Events automatisch beitreten.

Identifikation der Meeting-Teilnehmer

Nach der diarisierten Transkription Sprecher mit Namen abgleichen. Die Hauptmethode analysiert Videoframes, in denen Plattformen oft den Namen des aktiven Sprechers anzeigen.

Identifikationsalgorithmus:

• Zufällige Frames aus dem Video zu den Sprecher-Zeitstempeln extrahieren.
• Namensbereiche an eine OCR-API (z. B. Surya OCR) senden.
• Den häufigsten Namen in diesen Frames dem Sprecher zuweisen.

Einschränkung: Teilnehmer in Konferenzräumen (mit einem Gruppennamen) werden als „Raumsprecher“ markiert. Voice Embeddings sind eine Alternative, bergen aber biometrische Speicherung und rechtliche Hürden.

Protokollgenerierung mit LLMs

Den transkribierten Text in ein Sprachmodell (z. B. via vLLM deployt) einspeisen, um Struktur zu erzeugen. Prompts für strukturierte JSON-Ausgabe mit Schlüsselpunkten, Entscheidungen und Aufgaben gestalten.

Wichtige Erkenntnisse

• Transkriptionsqualität bestimmt alles Folgende, insbesondere das LLM.
• Kalenderintegration automatisiert wiederkehrende Meetings vollständig.
• Sprecher-ID via Video-OCR ist praxisnah, aber für Gruppen begrenzt.
• Mikroservices-Architektur (separate APIs für Transkription, OCR, LLM) sorgt für Skalierbarkeit und Zuverlässigkeit.
• Datensicherheit ist unverzichtbar bei Voice Embeddings oder RAG mit Meeting-Historie.

Das resultierende JSON wird in lesbare Protokolle (HTML, Markdown) umgewandelt oder erstellt automatisch Jira-Tickets via Function Calling. Rohe Aufnahmen werden so in handlungsrelevante Ergebnisse.

Zusatzfunktionen: RAG und Wake-Word-Erkennung

Zum Aufwerten diese Module ergänzen:

• Retrieval-Augmented Generation (RAG): Ermöglicht Antworten auf Fragen zu vergangenen Meetings ohne genaue Daten. Erfordert strenge Zugriffsrechte.
• Wake-Word-Erkennung: Echtzeit-Modell aktiviert den Assistenten per Sprachbefehl während des Meetings. Anweisungen („zur To-do-Liste hinzufügen“) oder Abfragen bearbeiten, mit TTS-Antworten im Gruppenchat.

Fazit

Die Errichtung eines KI-Assistenten für Videokonferenzen ist eine Ingenieursaufgabe, die Audioverarbeitung, Computer Vision, LLMs und externe API-Integrationen verbindet. Diese modulare Architektur beginnt mit simpler Transkription und skaliert zu Sprecher-ID, Protokollgenerierung und interaktiven Features. Erfolg hängt von Feinabstimmung der Komponenten und Priorisierung von Performance und Datensicherheit ab.

— Editorial Team