기업 시스템의 하이브리드 RAG: 클라우드 없이 데이터 유출 없이 문서 검색
규제 산업의 대기업들은 공통된 골칫거리를 안고 있습니다: 내부 문서 검색에 몇 시간이 걸립니다. 예를 들어 물류 관리자는 공급업체에 대한 클레임 이력을 확인하려고 이메일, SharePoint, 아카이브를 샅샅이 뒤지느라 시간을 허비합니다. 원인은 쿼리의 의미를 파악하는 지능형 검색 기능이 부족한 데 있습니다. 단순 키워드 매칭이 아니라는 뜻입니다. Hybrid RAG는 데이터를 회사의 경계 내에 철저히 유지하면서 이 문제를 해결합니다.
전통 검색이 규제 산업에서 실패하는 이유
기업 아카이브는 PDF, 스캔 문서, 스프레드시트, 이중언어 서신 등 다양한 형식으로 섞여 있습니다. 표준 ECM 시스템과 검색 엔진은 이런 이종 데이터를 다루기 어렵습니다. "코드 8471300000을 둘러싼 분쟁이 있었나?" 같은 쿼리는 의미 이해와 정확한 숫자 매칭을 모두 요구합니다. 의미 검색 기반의 표준 RAG는 테이블, 손글씨 노트, 다국어 콘텐츠가 포함된 문서에서 한계를 드러냅니다. 은행, 세관, 법률 회사에서는 데이터가 경계 밖으로 나갈 수 없습니다—아키텍처 요구사항 때문에 클라우드 솔루션은 금지입니다.
Hybrid RAG는 두 가지 접근을 결합합니다:
- 의미 검색(dense vectors): 의미 파악
- 정확 검색(sparse vectors): 코드, SKU, 숫자
이건 단순 조합이 아닙니다—Reciprocal Rank Fusion(RRF)을 통한 수학적으로 기반한 결과 융합입니다. 이 알고리즘은 수동 가중치 조정이나 추가 훈련 없이 작동하며 Qdrant 같은 벡터 데이터베이스와 원활히 통합됩니다.
온프레미스 하이브리드 RAG 아키텍처: 문서에서 응답까지
쿼리 처리 과정은 보안과 정확성을 위해 6단계로 구성되며 각 단계가 중요합니다:
- 문서 전처리 — Docling 라이브러리가 스캔 문서를 300 DPI로 정규화하고 테이블과 구조를 추출합니다. 이는 손글씨 노트와 복잡한 테이블을 처리하는 멀티모달 Qwen2.5-VL 모델에 필수적입니다.
- 듀얼 임베딩 생성 — BAAI/bge-m3 모델이 청크당 두 가지 벡터를 생성합니다: dense(의미), sparse(정확 매칭). 인덱싱과 쿼리에 동일 모델을 사용해 공간 호환성을 보장합니다.
- Qdrant에서의 하이브리드 검색 — dense와 sparse 벡터에 대한 동시 쿼리와 자동 RRF 융합.
- 예비 리랭킹 — FastEmbed가 30–50 ms 만에 후보를 10개로 좁힙니다.
- 최종 리랭킹 — cross-encoder bge-reranker-v2-m3가 특정 쿼리에 대한 조각 관련성을 평가합니다. 온프레미스 버전은 150–400 ms 지연을 추가하지만 데이터를 내부에 유지합니다.
- 응답 생성 — 필터링된 컨텍스트로부터 quantized Qwen2.5-72B-Instruct(AWQ INT4) 모델이 응답을 만듭니다.
핵심 특징: 모든 게 로컬에서 실행됩니다. Voyage AI 같은 클라우드 서비스가 가속화하는 리랭킹조차 온프레미스 컴포넌트로 처리해 데이터 주권 규정을 준수합니다.
프로덕션 도구: LangGraph와 Haystack가 필수인 이유
LangChain은 프로토타입에는 좋지만 규제 환경에서는 두 가지 문제가 생깁니다. 첫째, 네이티브 상태 관리가 없어 "리랭킹 점수가 임계값 미만이면 쿼리 재구성" 같은 시나리오를 처리하려면 꼼수가 필요합니다. LangGraph는 명시적 그래프 노드로 이를 해결해 프로덕션 디버깅에 핵심적입니다.
둘째, 관찰성 부족. 추적 기능 없이 문서 업데이트나 쿼리 패턴 변화로 인한 품질 저하가 사용자 불만이 나올 때까지 눈치채기 어렵습니다. 온프레미스 Langfuse가 추적합니다:
- 검색된 조각
- 리랭킹 점수
- 단계별 지연
중요한 점은 Langfuse도 경계 내에서 실행된다는 것입니다—아니면 기업 데이터가 타사 SaaS로 유출됩니다.
Haystack은 사전 프로덕션 테스트를 담당합니다. 청킹 전략 같은 파이프라인 변경으로 벤치마크 세트에서 평가를 실행하고 지표를 얻습니다:
- 검색 정확도(올바른 문서가 상위 5위 안에 드는 빈도)
- 소스에 대한 응답 충실도
이렇게 변경이 시스템을 개선하는지 확인할 수 있습니다. LlamaIndex는 프로토타이핑에 유연하지만 내장 평가 깊이가 부족합니다.
인프라 최적화: RTX 4090에서 A100까지
모델 선택은 예산과 품질 요구에 따라 다릅니다:
- Qwen2.5-72B-Instruct AWQ INT4 — 플래그십 옵션. A100 80GB GPU 두 대 필요, 테이블 처리에서 최고 품질. 대형 로펌이나 은행에 이상적.
- Qwen2.5-32B-Instruct — 최적 균형. L40S 48GB 한 대( A100보다 3배 저렴)에서 실행되며 72B 품질의 90% 유지. 추천 시작점.
- Qwen2.5-14B-Instruct — 자원이 제한적일 때. RTX 4090에 맞지만 복잡한 다단계 쿼리에서 약함.
프로 팁: L40S의 32B부터 실 데이터로 테스트하고 필요 시 확장. AWQ INT4 양자화는 메모리 사용을 반으로 줄이면서 핵심 품질 손실 없음.
주요 요약
- Hybrid RAG는 어수선한 아카이브에 필수: RRF로 의미 검색과 정확 매칭을 융합.
- 온프레미스 아키텍처는 규제 부문에서 필수. 모든 단계에서 데이터가 경계 내 유지.
- LangGraph와 Haystack은 프로덕션 필수: 전자는 실시간 쿼리 로직 관리, 후자는 객관적 품질 검증.
- 인프라 비용 최적화 가능: L40S의 Qwen2.5-32B가 플래그십 성능 90%를 1/3 비용으로 제공.
이 시스템은 몇 초 만에 특정 문서와 페이지를 인용하며 응답하고, 환각 대신 데이터 부족을 인정합니다. 단순한 검색 개선이 아니라 보안 타협 없이 지루한 노동에서 지능형 지식 접근으로의 전환입니다.
— Editorial Team
아직 댓글이 없습니다.