실시간 음성 AI 보조자 구축: 백엔드 팀의 여정
판매 매니저가 실시간 통화 중에 활용할 수 있는 음성 AI 보조자 '서플러'를 개발했습니다. 이 시스템은 서비스 유형을 분류하고, 거절 요인을 탐지하며, RAG를 통해 관련 데이터를 검색하고 실시간으로 텍스트 프롬프트를 생성합니다. 입력은 Voximplant API의 음성 인식 서비스에서 제공하는 텍스트 조각입니다. 필수적인 지연 시간 창(1.5~2초)이 설정되어 있으며, 기술 스택은 파이썬, FastAPI, PostgreSQL, 미세조정된 BERT 모델, 그리고 로컬에 배포된 Qwen 8B로 구성되었습니다. 보안 규정 준수를 위해 온프레미스 배포가 필수였습니다.
12명의 백엔드 개발팀은 머신러닝 경험이 없었지만, 6개월 만에 핵심 기술을 습득해 베타 버전을 성공적으로 출시했습니다.
3주 만에 PoC 완성
첫 3주 동안 팀은 작동 가능한 프로토타입을 완성했습니다:
- 통화 녹음본을 입력 데이터로 처리.
- 15개 이상의 서비스와 15개 이상의 거절 유형을 분류하는 두 개의 BERT 분류기(1,500건의 주석 데이터로 학습).
- 서비스 설명과 대사 스크립트를 포함한 FAISS 벡터 데이터베이스.
- GPT를 활용한 프롬프트 기반 통합.
- 실시간 제안을 표시하는 장고 기반 인터페이스.
프로토타입은 10~15초의 지연을 보였지만, 이해관계자들에게 아이디어의 가능성을 확실히 입증했습니다.
아키텍처 진화: 복잡성 줄이기
초기 단일 애플리케이션 설계는 커스텀 위스퍼 기반 오디오 파이프라인, 다수의 분류기, LLM 미세조정, 피드백 루프가 있는 벡터 데이터베이스를 포함했으며, 개발 기간은 12~18개월로 예상되며 고위험 구조였습니다.
미세조정 포기. 판매 스크립트를 기반으로 Qwen이나 라마를 재학습하는 대신, 팀은 RAG 방식을 채택했습니다. 모델은 필요 시 지식베이스에서 직접 관련 맥락을 가져옵니다. 이로 인해 환상적 출력이 줄어들고, 방대한 주석 작업도 생략됩니다.
완성된 음성 인식기 사용. Voximplant은 REST를 통해 텍스트 조각을 제공하여 내부 오디오 파이프라인 개발에 2개월을 절약했습니다.
분류기 간소화. 다중 클래스 거절 탐지기 대신 이진 분류기(거절 여부)를 도입했습니다. 상세 분석은 생성 과정에서 LLM이 담당합니다. GPU 서버에서 추론을 실행하면 속도가 크게 향상됩니다.
벡터 DB 대신 JSON 검색. 지식베이스(서비스, 스크립트)는 메모리 내 구조화된 JSON 형식으로 저장됩니다. FAISS나 Weaviate보다 빠르며 네트워크 지연도 없습니다.
클라우드 대신 로컬 LLM. GPT나 딥시크 같은 클라우드 API는 7~20초의 지연을 유발했고, 보안 정책으로 차단되었습니다. GPU 서버에 로컬로 배포한 Qwen 8B는 ~2초 응답 시간과 간결한 출력을 달성했습니다.
경량 인터페이스. 복잡한 CRM 통합 대신 간단한 장고 페이지로 프롬프트를 표시했습니다.
최종 실시간 처리 파이프라인
시스템은 다음과 같이 동작합니다:
- Voximplant에서 텍스트 수신.
- 이진 BERT 분류(서비스 + 거절 여부).
- 메모리 내 JSON 데이터베이스에서 RAG 검색.
- Qwen 8B용 프롬프트 생성.
- UI에 제안 표시.
총 지연 시간은 2초 이내 유지됩니다.
데이터 라벨링: 현실적인 접근
맥락 이해가 필요한 200건의 대화 라벨링에 몇 주가 걸렸습니다. 판매 매니저는 빠르게 라벨링했지만, 대규모 스케일링은 불가능했습니다.
해결책: 이진 탐지에 집중. 거절 세부사항은 생성 단계에서 LLM이 처리. 반복 주기가 극적으로 단축되었습니다.
지연 시간: 엄격한 제약 조건
실시간 대화는 2초 미만 응답을 요구합니다. 클라우드 API는 신뢰할 수 없었습니다. 로컬 Qwen 8B(32B 대비)는 일부 세부 정보를 희생하더라도 속도를 확보 — 필수적인 트레이드오프입니다.
보안 및 격리
전체 온프레미스 워크플로우:
- Voximplant 음성 인식(유일한 외부 의존성).
- 내부 처리 및 분류.
- 로컬 LLM이 생성한 응답.
PII 마스킹 미적용: 200~500ms의 오버헤드를 피하고, 데이터 왜곡 위험을 줄이며, 개발 작업을 한 달 단축했습니다.
핵심 교훈
- RAG는 미세조정보다 출시를 가속화하고 라벨링 노력 최소화.
- 이진 분류 + LLM은 품질 손실 없이 거절 탐지 간소화.
- 로컬 Qwen 8B는 실시간 사용에 적절한 속도와 정확성의 균형.
- 작은 구조화된 지식베이스에는 JSON 검색이 벡터 DB를 능가.
- 온프레미스 배포는 보안과 지연 문제를 동시에 해결.
— Editorial Team
아직 댓글이 없습니다.