# 화상 회의 AI 어시스턴트 아키텍처: 음성 인식부터 회의록 생성까지
업무 회의를 자동화하는 AI 어시스턴트를 구축하려면 여러 기술 구성 요소를 유기적으로 연결하는 종합적인 접근이 필요합니다. 이 시스템은 화상 회의에 자동 참여하고, 음성을 텍스트로 변환하며, 발화자를 식별하고, 구조화된 회의록을 생성해야 합니다. 특히 반복되는 정기 회의에서 빛을 발하며, 맥락을 유지하고 Jira 태스크 생성 같은 잡다한 작업을 자동화합니다.
음성 인식 엔진 선택과 설정
음성 인식 품질은 전체 서비스의 기반입니다. 녹음된 오디오를 처리할 때 오프라인 방식의 WhisperX가 최고의 선택입니다. 러시아어에 강력한 성능을 보이며, 비즈니스 용어를 위한 사용자 정의 어휘를 지원해 전문 용어를 정확히 처리합니다.
모델 선택 주요 단계:
- 커뮤니티 피드백 확인 (WhisperX가 인기 추천).
- 테스트 녹음 세트로 상용 API(Deepgram, Google Speech-to-Text)와 벤치마킹.
- 인식 결과를 수동 검토해 WER/CER 지표 계산과 흔한 오류 파악.
통합은 오디오 파일과 diarize 플래그를 받는 비동기 API를 통해 이뤄지며, task_id로 결과를 반환합니다.
발화자 구분이 포함된 인식기 샘플 출력:
speaker_1 00:00-00:13 안녕하세요, 1시간 회의를 열어 그 버튼 문서화 도와주세요
speaker_2 00:13-00:18 진짜 미치겠네, 그냥 문서 열어보세요화상 회의 플랫폼 연결
자동 참여를 위해 링크에서 플랫폼(Google Meet, Zoom, Teams)을 감지하는 커넥터가 필요합니다. Playwright 기반 구현으로 오디오와 비디오를 캡처하는 독립 컨테이너를 띄웁니다.
구현 세부 사항:
- Playwright 핸들 모드로 세션 격리.
- 효율적 처리를 위해 저해상도(예: 800×600)로 오디오와 비디오 녹화.
- 대량 참여 시 플랫폼의 플러드 방지 제한 준수.
인터페이스와 캘린더를 통한 관리
회의 녹화 예약을 위한 여러 진입점 지원:
- 빠른 링크 추가를 위한 Telegram 봇.
- 설정을 위한 웹 대시보드.
- 이메일(SMTP/IMAP) 파싱으로 ICS 첨부나 텍스트 초대와 업무 캘린더 자동 연동.
스케줄러가 적절한 시점에 캘린더 링크를 커넥터 API로 푸시해 봇이 계획된 이벤트에 자동 참여합니다.
회의 참가자 식별
발화자 구분 음성 인식이 완료되면 이름을 매칭합니다. 주요 방법은 비디오 프레임을 분석해 플랫폼에서 표시되는 활성 발화자 이름을 활용합니다.
식별 알고리즘:
- 발화자 타임스탬프에서 랜덤 프레임 추출.
- 이름 영역을 OCR API(예: Surya OCR)로 전송.
- 해당 프레임에서 가장 빈번한 이름을 발화자에게 할당.
주의: 회의실 참가자(그룹에 하나의 이름 표시)는 "회의실 발화자"로 라벨링됩니다. 음성 임베딩은 대안이지만 생체 데이터 저장과 법적 문제로 복잡합니다.
LLM을 활용한 회의록 생성
인식된 텍스트를 언어 모델(예: vLLM 배포)에 입력해 구조화합니다. 주요 논의 포인트, 결정 사항, 태스크를 다루는 구조화된 JSON 출력을 위한 프롬프트를 설계합니다.
주요 요약
- 음성 인식 품질이 LLM을 포함한 모든 후속 작업의 핵심입니다.
- 캘린더 연동으로 정기 회의 녹화를 완전 자동화.
- 비디오 OCR 발화자 식별은 실용적이지만 그룹에 제한적.
- 마이크로서비스 아키텍처(음성 인식, OCR, LLM 별도 API)는 확장성과 안정성을 보장.
- 데이터 보안은 음성 임베딩이나 RAG를 통한 회의 이력 접근 시 필수입니다.
결과 JSON은 읽기 쉬운 회의록(HTML, Markdown)으로 변환되거나 함수 호출로 Jira 태스크를 자동 생성합니다. 이렇게 원시 녹음을 실행 가능한 결과물로 전환합니다.
추가 기능: RAG와 웨이크 워드 감지
고도화를 위해 다음 모듈 추가:
- 검색 증강 생성(RAG): 과거 회의에 대한 질문에 날짜 없이 답변. 엄격한 권한 제어 필요.
- 웨이크 워드 감지: 실시간 모델로 회의 중 음성 명령으로 어시스턴트 활성화. 지시("할 일 목록에 추가")나 질문을 처리하고, 그룹 채팅에 TTS 응답.
결론
화상 회의 AI 어시스턴트 구축은 오디오 처리, 컴퓨터 비전, LLM, 외부 API 연동을 결합한 엔지니어링 도전입니다. 이 모듈러 아키텍처는 기본 음성 인식에서 시작해 발화자 식별, 회의록 생성, 상호작용 기능으로 확장됩니다. 성공은 구성 요소 미세 조정과 성능 및 데이터 보안 우선에 달려 있습니다.
— Editorial Team
아직 댓글이 없습니다.