규제 문서를 위한 RAG 대신 그래프

벡터 RAG 대신 그래프 기반 문서 모델: 규제 문서 경험

표준 RAG — 텍스트를 청크로 분할하고 벡터화하여 검색하는 방식 — 는 규제 문서에서 실패합니다. 의미 검색은 관련 조항을 찾지만 관련 하위 조항, 주석 또는 상호 참조를 무시합니다. 결과: 모델이 고립된 조각에서 결론을 도출하여 필수적인 맥락을 잃는 불완전한 답변입니다.

규정 체인을 포함하는 질문의 경우, 검색은 노이즈를 가져오거나 핵심 요소를 놓칩니다. 문제는 LLM이 아니라, 의미 단위와 일치하지 않는 최소 저장 단위를 가진 문서의 평면적 표현입니다.

구조화된 모델: 텍스트에서 노드 계층 구조로

문서는 주소 지정 가능한 요소의 트리로 모델링됩니다:

• 루트 노드 — 전체 문서.
• 섹션, 조항, 하위 조항.
• 별도의 노드로서의 표와 공식.
• 노드 간 연결.
• 정의가 포함된 용어를 위한 별도의 레이어.

인덱싱은 구문 분석 후 원시 청크가 아닌 정규화된 구조를 기반으로 합니다. 이는 계층 구조를 보존하고 요소에 대한 정확한 접근을 가능하게 합니다.

컨텍스트 그룹화: 왜 하나의 노드로는 충분하지 않은가

원자 노드(단일 조항)는 지역 컨텍스트를 잃습니다. "최소 비상 출구"와 같은 질문에는 다음이 필요합니다:

• 동일한 수준의 인접 하위 조항.
• 주석.
• 관련 표.
• 다른 섹션이나 문서에 대한 상호 참조.

그룹화는 공통 부모와 중첩 수준에 따라 발생하며, 크기 제한이 있습니다. 보편적인 청크 크기는 없습니다: 작은 그룹은 의미를 잃고, 큰 그룹은 검색에 노이즈를 추가합니다. 구조적 그룹화는 인덱스에 의미 있는 블록을 포함시켜 답변의 견고성을 향상시킵니다.

다중 모드 검색: 벡터 검색을 넘어서

의미 검색은 자유 형식 쿼리에 작동하지만, 규제 문서는 정밀도가 필요합니다:

• 조항 번호별 포인트 검색 (예: 6.2.2).
• 표 검색 (예: 표 7.1).
• 어휘 및 하이브리드 검색.
• 용어 레이어.
• 상호 참조 검색.

단일 쿼리는 병렬로 여러 전략을 트리거합니다: 조항별 포인트 검색 + 키워드 + 용어. 결과는 검색 에이전트에 의해 컨텍스트 빌더에서 결합됩니다.

동의어를 위한 용어 레이어

사용자와 문서는 다른 표현을 사용합니다: 공식 용어, 약어, 흩어진 정의. 용어는 별도로 추출됩니다:

• 문서에서 추출.
• 정의에 연결.
• 별도 인덱싱.
• 검색에서 추가 신호로 사용.

이는 쿼리를 개념으로 관련 조각에 연결하여 재현율을 향상시킵니다.

연결 그래프: 필수 컨텍스트

계층 구조는 관련 규정을 가져오는 것을 보장하지 않습니다. 그래프는 유형화된 관계를 추가합니다:

• mandatory — 노드의 의무적 동반자.
• cross — 상호 참조.
• 문서 ↔ 노드.
• 노드 ↔ 표.
• 문서 간.

관련 히트가 발생하면, 검색은 의미론적으로 상위-k에 있지 않더라도 관련 노드를 강제로 추가합니다. 이는 불완전한 답변을 방지합니다.

실용적인 시스템 개선

그래프 기반 모델은 답변을 견고하게 만듭니다:

• 컨텍스트가 포함된 조항에 대한 정확한 참조.
• 설명을 잃지 않고 표 처리.
• 유사한 구문과 용어 구분.
• 고립된 조각 대신 규정 체인.

시스템은 채팅을 중단합니다 — 검증 가능한 답변을 위한 도구가 됩니다.

핵심 포인트:

• 문서는 평면 텍스트가 아니라 연결 그래프가 있는 주소 지정 가능한 계층 구조입니다.
• 검색은 다중 레이어입니다: 벡터 + 포인트 + 용어 + 연결.
• 컨텍스트를 보존하기 위해 토큰이 아닌 구조별 그룹화.
• 필수 연결은 데이터에서 명시적으로 표현됩니다.
• 하나의 질문 — 결과 구성이 포함된 다중 검색.

복잡한 도메인을 위한 교훈

규제 컨텍스트에서 RAG 품질은 모델이 아닌 데이터에 의해 결정됩니다. 주요 요점:

• 노드 그래프로 문서 구조화.
• 적응형 크기로 계층 구조별 청킹.
• 검색 전략 구성.
• 용어 및 필수 연결 추출.

이는 엄격한 구조를 가진 다른 도메인으로 확장됩니다: 코드, 사양, 계약서.

— Editorial Team