会议 AI 助手架构：转录、LLM、集成

视频会议AI助手架构：从转录到会议纪要

构建一个自动化工作会议的AI助手，需要全面整合多项技术组件。该系统需加入视频会议、转录语音、识别发言人，并生成结构化的会议纪要。此工具特别适用于定期会议，能保留上下文并自动化繁琐任务，如从讨论中创建Jira任务。

选择和配置转录引擎

转录质量是整个服务的基石。对于录制音频的处理，离线转录工具WhisperX是首选。它对俄语表现优秀，并支持自定义词汇库，这对准确捕捉商务术语至关重要。

模型选择关键步骤：

• 查看社区反馈（WhisperX广受欢迎）。
• 在测试录音集上与商业API（如Deepgram、Google Speech-to-Text）进行基准测试。
• 手动审核转录结果，计算WER/CER指标并识别常见错误。

集成通过异步API实现，输入音频文件和diarize标志，结果通过task_id返回。

带说话人分割的转录样本输出：

speaker_1 00:00-00:13 大家好，召集大家开一小时会议帮我找那个清楚记录的按钮
speaker_2 00:13-00:18 你这是在折磨我啊，认真点，直接打开文档

连接视频会议平台

为实现无缝自动加入会议，需要一个连接器，能从链接检测平台（Google Meet、Zoom、Teams）。基于Playwright的实现会启动隔离容器，运行机器人捕获音频和视频。

实现细节：

• 使用Playwright的句柄模式实现会话隔离。
• 以低分辨率（如800×600）录制音频和视频，便于高效处理。
• 遵守平台防刷限制，尤其批量加入时。

通过界面和日历管理

服务支持多种入口点调度会议录音：

• Telegram机器人快速添加链接。
• Web仪表板进行设置。
• 通过解析邮件（SMTP/IMAP）中的ICS附件或文本邀请，实现与工作日历的自动集成。

调度器在合适时间将日历链接推送到连接器API，确保机器人自动加入预定事件。

识别会议参与者

获得带分割的转录后，将发言人与姓名匹配。主要方法是分析视频帧，平台通常会显示当前发言人的姓名。

识别算法：

• 从发言人时间戳处提取随机视频帧。
• 将姓名区域发送至OCR API（如Surya OCR）。
• 将这些帧中最常见的姓名分配给该发言人。

注意：会议室参与者（群体共用一个姓名）将被标记为“房间发言人”。语音嵌入是备选方案，但涉及生物识别数据存储和法律问题。

使用大模型生成纪要

将转录文本输入语言模型（如通过vLLM部署），进行结构化处理。设计提示以生成覆盖关键讨论点、决策和任务的结构化JSON输出。

关键要点

• 转录质量决定了下游一切，尤其是大模型效果。
• 日历集成实现定期会议的全自动化录音。
• 视频OCR发言人识别实用但对群体有限制。
• 微服务架构（转录、OCR、大模型独立API）确保可扩展性和可靠性。
• 数据安全不可妥协，尤其语音嵌入或RAG访问会议历史。

生成的JSON可转换为可读纪要（HTML、Markdown），或通过函数调用自动创建Jira任务，将原始录音转化为可行动成果。

扩展功能：RAG与唤醒词检测

为提升水平，可添加这些模块：

• 检索增强生成（RAG）：让助手回答过去会议问题，无需指定日期。需严格权限控制。
• 唤醒词检测：实时模型通过语音命令中途激活助手。处理指令（如“添加到待办”）或查询，并在群聊中以TTS回应。

结论

打造视频会议AI助手是融合音频处理、计算机视觉、大模型和外部API集成的工程挑战。此模块化架构从基础转录起步，可扩展至发言人识别、纪要生成和交互功能。成功关键在于精细调优组件，并优先保障性能与数据安全。

— Editorial Team