에이전트 기반 RAG: DIFC 법원을 위한 법률 문서 검색 시스템 구축
'지능의 불꽃' 팀은 EORA AI의 2026 에이전트 기반 법적 RAG 도전 대회에서 두 가지 RAG 시스템을 개발했다. 목적은 두바이 국제금융센터(DIFC)의 300여 건의 법원 문서를 바탕으로 정확한 답변을 제공하는 것이었다. 총 상금 3만 2천 달러, 참가자 300명 이상의 규모로, 대회는 예선(30건 문서, 100개 질문)과 결선(300건 문서, 900개 질문)으로 나뉘어 진행됐다. 질문 유형은 부정형, 이름, 날짜, 숫자, 자유 문장 등으로 분류되었으며, 정확도, 속도, 토큰 사용량 기준으로 평가되었다.
RAG에서 벡터 검색의 과제
벡터 검색은 의미적으로 유사한 내용을 찾는 데 뛰어나다('계약 해지' ≈ '계약 취소'), 하지만 특정 사실인 '제이슨 대 크루거 사건이 심리된 도시' 같은 정보에는 실패한다. 문서 규모가 커질수록 이 문제는 더욱 심화되며, 소규모 라이브러리에서는 빠른 검색이 가능하지만, 거대한 문서 집합에서는 복잡한 인덱싱이 필요해진다.
성공의 핵심은 '청킹': 텍스트를 의미 있는 단위로 나누는 것이다. 단순한 패턴 기반 접근(예: 제1조, 제2항)은 엄격한 계층 구조에서는 효과적이지만 최적의 청크 크기를 요구한다. 너무 작은 청크는 맥락이 부족한 명확한 벡터를 만들고, 너무 큰 청크는 흐릿하고 모호한 표현을 초래한다.
예시 문제:
- 원문: "청문회 참석자는 다음과 같다: 참가자 1, 참가자 2, 참가자 3."
- 목록 마커 기반 분할 → 각 항목이 의미를 잃는다.
청크 전략과 하이브리드 검색
하이브리드 검색은 벡터 유사성, BM25, 메타데이터를 결합한다. 질문-답변 쌍으로 학습된 리랭커(재정렬 모델)가 상위-k*10 결과를 상위-k로 줄여 더 높은 정밀도를 확보한다.
청크 전략 비교:
| 전략 | 설명 | 장점 | 단점 |
|--------|----------|-------|--------|
| B1. 고정 크기 + 겹침 | N토큰 단위 청크에 겹침 적용 | 간단함 | 맥락 파손 위험 |
| B2. 계층적 | 큰 청크 → 작은 청크로 나누며, 큰 단위의 맥락 유지 | 맥락 보존 | 구현 복잡성 |
| B3. 의미 기반 | 머신러닝 기반 의미 그룹화 | 높은 관련성 | 자원 소모 큼 |
팀은 시간 제약으로 B3 전략을 생략하고, B1과 B2 전략을 활용했다.
간단한 아키텍처 설계
Qdrant + LlamaIndex로 벡터 저장, Unstructured로 PDF 파싱 시 구조 유지.
청크: 페이지 기반 + 겹침. 검색: 하이브리드 + 정규식 패턴 + 메타데이터 필터링. 리랭커: 사용.
장점:
- 빠른 구현 가능.
- 성능 예측 가능.
- 페이지 수준 청크에서 직접 근거 도출.
단점:
- 정규식으로 인한 오검출 또는 누락 가능성.
- 문서 구조에 강하게 의존.
- 초기 근거는 메타데이터에 없었음 (후에 수정).
결과:
- 예선 단계: 정확도 0.9 → 0.81(수정 후), 근거율 0.5 → 0.58.
- 결선 단계: 정확도 0.79, 근거율 0.63, 평균 속도.
에이전트 기반 RAG: 라우터와 도구
청크: 계층적. 알고리즘:
- LLM이 샘플 문서의 구조 분석.
- 반복 패턴 식별.
- 작은 청크를 타깃 크기로 재귀적으로 병합.
과제: 페이지 간 패턴 불일치 → 노이즈 많은 저품질 청크 발생.
검색: 에이전트 라우터가 네 가지 도구(메타데이터, 정확 매칭, 문서 비교, 하이브리드)로 질의를 분배하며, 사건 번호 또는 법률 참조로 필터링. 아키텍처: 라우터 → 도구(리랭커 포함) → 에이전트 생성기.
장점:
- 맥락에 따라 올바른 도구 선택 가능.
- 필터링 효과적.
단점:
- 불안정한 청크 생성.
- 노이즈 많은 청크 발생.
- 완전히 테스트되지 않음 (마감일에 API 오류 발생).
예선 결과: 정확도 0.74, 근거율 0.6, 속도 느림 (LLM 호출 2회). 최종 제출 미완료.
핵심 교훈
- 의미 유사성 이상의 정확도를 위해서는 하이브리드 검색 + 리랭커가 필수적이다.
- 긴급한 일정에서는 페이지 기반 청크가 계층적 청크보다 간단하고 안정적이다.
- 에이전트는 라우팅에 유용하지만, 엄격한 도구 스키마와 철저한 테스트가 필요하다.
- 메타데이터 기반 근거는 결정론적 응답을 위해 필수적이다.
- 정규식은 벡터 검색을 대체할 수 없으며, 오진을 피하기 위해 신중히 사용해야 한다.
종합 평가: 단순한 해결책은 일관된 성능(0.79/0.63)을 제공했다. 에이전트 방식은 잠재력을 보였으나, 청크 생성과 디버깅에서 위험이 있었다. 경험을 통해 복잡성보다 예측 가능성을 우선시해야 함을 확인했다.
— Editorial Team
아직 댓글이 없습니다.