Architecture d'Assistant IA pour Réunions : Transcription, LLM, Intégration

Architecture d'un assistant IA pour visioconférences : de la transcription aux comptes rendus

Construire un assistant IA pour automatiser les réunions professionnelles nécessite une approche globale intégrant plusieurs composants techniques. Le système doit rejoindre les appels vidéo, transcrire les paroles, identifier les intervenants et générer des comptes rendus structurés. Cet outil excelle pour les réunions récurrentes, en préservant le contexte et en automatisant les tâches fastidieuses comme la création de tickets Jira à partir des discussions.

Choix et configuration du moteur de transcription

La qualité de la transcription est la base de tout le service. Pour traiter les enregistrements audio, la transcription hors ligne avec WhisperX est un excellent choix. Elle offre de bons résultats pour le russe et supporte les vocabulaires personnalisés, essentiels pour maîtriser le jargon professionnel.

Étapes clés pour sélectionner le modèle :

• Vérifier les retours de la communauté (WhisperX est un choix populaire).
• Benchmarker contre les API commerciales (Deepgram, Google Speech-to-Text) sur un jeu de tests d'enregistrements.
• Vérifier manuellement les transcriptions pour calculer les métriques WER/CER et repérer les erreurs courantes.

L'intégration se fait via une API asynchrone qui prend un fichier audio et un drapeau diarize. Les résultats reviennent via un task_id.

Exemple de sortie du transcripteur avec diarisation :

speaker_1 00:00-00:13 Salut à tous, je vous ai réunis pour une réunion d'une heure pour m'aider à trouver ce bouton bien documenté
speaker_2 00:13-00:18 Tu me tues là, sérieusement, ouvre les docs

Connexion aux plateformes de visioconférence

Pour un rejoignage automatique fluide des appels, il faut un connecteur qui détecte la plateforme (Google Meet, Zoom, Teams) à partir du lien. Une implémentation basée sur Playwright lance des conteneurs isolés avec des bots qui capturent l'audio et la vidéo.

Détails d'implémentation :

• Utiliser le mode headless de Playwright pour isoler les sessions.
• Enregistrer l'audio et la vidéo en basse résolution (ex. : 800×600) pour un traitement efficace.
• Respecter les limites anti-spam des plateformes lors de rejoins en masse.

Gestion via interfaces et calendriers

Le service supporte plusieurs points d'entrée pour programmer les enregistrements d'appels :

• Bot Telegram pour ajouter rapidement des liens.
• Tableau de bord web pour les paramètres.
• Intégration automatique avec les calendriers professionnels en parsant les e-mails (SMTP/IMAP) avec pièces jointes ICS ou invitations textuelles.

Un planificateur envoie les liens calendaires à l'API du connecteur au bon moment, assurant que les bots rejoignent automatiquement les événements prévus.

Identification des participants à la réunion

Une fois la transcription diarisée obtenue, associer les intervenants à des noms. La méthode principale analyse les images vidéo, où les plateformes affichent souvent le nom de l'intervenant actif.

Algorithme d'identification :

• Extraire des images aléatoires de la vidéo aux timestamps de l'intervenant.
• Envoyer les zones de nom à une API OCR (ex. : Surya OCR).
• Attribuer le nom le plus fréquent dans ces images à l'intervenant.

Attention : Les participants en salle de conférence (affichant un nom pour le groupe) sont étiquetés « intervenant salle ». Les embeddings vocaux sont une alternative, mais impliquent le stockage de biométries et des obstacles légaux.

Génération de comptes rendus avec des LLM

Alimenter le texte transcrit dans un modèle de langage (ex. : déployé via vLLM) pour structurer. Rédiger des prompts pour une sortie JSON structurée couvrant les points clés, décisions et tâches.

Points clés

• Qualité de transcription pilote tout le processus aval, surtout le LLM.
• Intégration calendrier automatise pleinement l'enregistrement des réunions récurrentes.
• Identification des intervenants via OCR vidéo est pratique mais limitée pour les groupes.
• Architecture microservices (API séparées pour transcription, OCR, LLM) assure scalabilité et fiabilité.
• Sécurité des données est impérative avec les embeddings vocaux ou RAG accédant à l'historique des réunions.

Le JSON résultant se convertit en comptes rendus lisibles (HTML, Markdown) ou crée automatiquement des tâches Jira via appels de fonctions. Cela transforme les enregistrements bruts en résultats actionnables.

Fonctionnalités avancées : RAG et détection de mots-clés

Pour passer au niveau supérieur, ajouter ces modules :

• Génération augmentée par récupération (RAG) : Permet à l'assistant de répondre à des questions sur les réunions passées sans dates précises. Nécessite des contrôles d'autorisation stricts.
• Détection de mots-clés : Modèle en temps réel active l'assistant via commandes vocales en pleine réunion. Gère les instructions (« ajouter à la todo-list ») ou requêtes, avec réponses TTS dans le chat de groupe.

Conclusion

Développer un assistant IA pour visioconférences est un défi technique mêlant traitement audio, vision par ordinateur, LLM et intégrations API externes. Cette architecture modulaire commence par la transcription basique et évolue vers l'identification des intervenants, la génération de comptes rendus et des fonctionnalités interactives. Le succès repose sur l'ajustement fin des composants et la priorisation de la performance et de la sécurité des données.

— Editorial Team