Arquitectura de Asistente de IA para Reuniones: Transcripción, LLM, Integración

# Arquitectura de Asistente IA para Videoconferencias: De la Transcripción a las Notas de Reunión

Desarrollar un asistente IA para automatizar reuniones de trabajo requiere un enfoque integral que integre varios componentes tecnológicos. El sistema debe unirse a videollamadas, transcribir el habla, identificar a los hablantes y generar notas estructuradas de la reunión. Esta herramienta brilla en reuniones recurrentes, ayudando a preservar el contexto y automatizar tareas tediosas como crear tickets en Jira a partir de las discusiones.

Elegir y Configurar el Motor de Transcripción

La calidad de la transcripción es la base de todo el servicio. Para procesar audio grabado, la transcripción offline con WhisperX es una opción destacada. Ofrece resultados sólidos para español y permite vocabularios personalizados, clave para capturar jerga empresarial con precisión.

Pasos clave para seleccionar el modelo:

• Revisa opiniones de la comunidad (WhisperX es una opción popular).
• Realiza benchmarks contra APIs comerciales (Deepgram, Google Speech-to-Text) en un conjunto de pruebas de grabaciones.
• Revisa manualmente las transcripciones para calcular métricas WER/CER e identificar errores comunes.

La integración se hace vía API asíncrona que recibe un archivo de audio y una bandera diarize. Los resultados llegan mediante task_id.

Ejemplo de salida del transcriptor con diarización:

speaker_1 00:00-00:13 Hola a todos, los reuní para una hora de reunión para ayudarme a encontrar ese botón claramente documentado
speaker_2 00:13-00:18 Me estás matando, en serio, solo abre la documentación

Conexión con Plataformas de Videoconferencia

Para unirse automáticamente a las llamadas de forma fluida, necesitas un conector que detecte la plataforma (Google Meet, Zoom, Teams) desde el enlace. La implementación basada en Playwright lanza contenedores aislados con bots que capturan audio y video.

Detalles de implementación:

• Usa el modo handle de Playwright para aislar sesiones.
• Graba audio y video en baja resolución (p. ej., 800×600) para un procesamiento eficiente.
• Respeta los límites anti-spam de las plataformas en uniones masivas.

Gestión a Través de Interfaces y Calendarios

El servicio soporta múltiples puntos de entrada para programar grabaciones de llamadas:

• Bot de Telegram para agregar enlaces rápidamente.
• Panel web para configuraciones.
• Integración automática con calendarios laborales parseando correos (SMTP/IMAP) con adjuntos ICS o invitaciones de texto.

Un programador envía enlaces de calendario a la API del conector en el momento preciso, asegurando que los bots se unan automáticamente a eventos planificados.

Identificación de Participantes de la Reunión

Una vez tienes la transcripción diarizada, asocia hablantes con nombres. El método principal analiza fotogramas de video, donde las plataformas suelen mostrar el nombre del hablante activo.

Algoritmo de identificación:

• Extrae fotogramas aleatorios del video en los timestamps del hablante.
• Envía regiones de nombres a una API de OCR (p. ej., Surya OCR).
• Asigna el nombre más frecuente en esos fotogramas al hablante.

Advertencia: Participantes en salas de conferencias (que muestran un nombre para el grupo) se etiquetan como "hablante de sala". Los embeddings de voz son una alternativa, pero implican almacenar biometría y obstáculos legales.

Generación de Notas con Modelos de Lenguaje

Alimenta el texto transcrito a un modelo de lenguaje (p. ej., desplegado vía vLLM) para estructurarlo. Diseña prompts para salida JSON estructurada que cubra puntos clave de discusión, decisiones y tareas.

Lecciones clave

• Calidad de transcripción impulsa todo lo downstream, especialmente el LLM.
• Integración con calendarios automatiza completamente las grabaciones de reuniones recurrentes.
• Identificación de hablantes vía OCR de video es práctica pero limitada para grupos.
• Arquitectura de microservicios (APIs separadas para transcripción, OCR, LLM) asegura escalabilidad y fiabilidad.
• Seguridad de datos es innegociable con embeddings de voz o RAG accediendo a historial de reuniones.

El JSON resultante se convierte en notas legibles (HTML, Markdown) o crea automáticamente tareas en Jira vía llamada de funciones. Esto transforma grabaciones crudas en resultados accionables.

Funciones Extra: RAG y Detección de Palabra Despertador

Para elevar el nivel, agrega estos módulos:

• Generación Aumentada por Recuperación (RAG): Permite al asistente responder preguntas sobre reuniones pasadas sin fechas específicas. Requiere controles estrictos de permisos.
• Detección de Palabra Despertador: Modelo en tiempo real activa el asistente vía comandos de voz durante la reunión. Maneja instrucciones ("agregar a lista de tareas") o consultas, con respuestas TTS en el chat grupal.

Conclusión

Crear un asistente IA para videoconferencias es un desafío de ingeniería que combina procesamiento de audio, visión por computadora, LLMs e integraciones de APIs externas. Esta arquitectura modular parte de transcripción básica y escala a identificación de hablantes, generación de notas y funciones interactivas. El éxito depende de afinar componentes y priorizar rendimiento y seguridad de datos.

— Editorial Team