DRAGOn: 동적 데이터 기반 RAG 시스템 테스트

## DRAGOn: 변화하는 코퍼스에서 RAG 시스템을 테스트하는 동적 방법론

SberAI, MWS AI 팀과 대학 연구원들이 러시아어 RAG(검색 증강 생성) 시스템을 테스트하기 위한 공개 동적 방법론 DRAGOn을 소개했습니다. 이 방법론은 뉴스 피드 같은 주기적으로 업데이트되는 데이터 코퍼스를 고려하며, 이를 바탕으로 지식 맵을 구축합니다. 이 방법론은 모로코에서 열리는 EACL 2026 컨퍼런스에 채택되었습니다.

RAG 시스템은 LLM을 외부 지식 베이스와 통합하여 최신 데이터에 기반한 응답을 생성합니다. 이는 환각 현상을 최소화하고 분석 및 검색 작업에서 AI 에이전트의 신뢰성을 높입니다.

기존 접근법의 문제점과 DRAGOn 솔루션

전통적인 벤치마크는 정적 데이터셋에 의존해 빠르게 구식이 됩니다. 기업 지식은 동적이지만 테스트는 이에 적응하지 못합니다. DRAGOn은 이를 해결합니다:

• 업데이트 소스에서 자동으로 지식 그래프를 구축합니다.
• 서로 다른 문서 간 사실 매칭을 포함한 다단계 논리 작업을 생성합니다.
• 별도의 LLM으로 응답을 평가하며 정확성, 완전성, 의미적 유사성을 확인합니다.

이 시스템은 러시아어 데이터에 특화되어 검색과 생성에서의 언어 고유 도전을 중점으로 합니다.

테스트 생성 및 품질 평가

DRAGOn은 단순 Q&A 쌍이 아닌 추론 체인으로 쿼리를 생성합니다: 기본 사실부터 복잡한 추론까지. 예시 워크플로:

• 업데이트된 코퍼스(뉴스, 보고서) 파싱.
• 엔티티와 관계를 추출해 지식 그래프를 구축합니다.
• 논리적 의존성을 가진 질문을 합성합니다.
• RAG 시스템을 실행하고 심판 모델로 결과를 검증합니다.

평가 지표에는 사실 정확성, 완전성 점수, 논리 일관성이 포함됩니다. 예비 테스트에서 여러 LLM과 하이브리드 검색(dense + sparse)을 결합하는 것이 최고 결과를 보였으나, 복잡한 연결은 여전히 과제입니다.

공개 리더보드와 실무 적용

러시아어 RAG 시스템을 위한 공개 리더보드가 출시되었습니다. 최고 성능 모델은 ColBERT 같은 고급 검색과 미세 조정된 LLM을 결합합니다. 결과는 다중 모델 앙상블의 가치를 강조합니다.

개발자에게 이 방법론은 사설 테스트 환경 설정을 간편하게 합니다:

• 내부 데이터(문서, CRM) 통합.
• 자동 벤치마크 생성.
• 파이프라인 비교: 임베딩 모델, 재순위, 프롬프팅 전략.

이는 AI 에이전트의 프로덕션 배포 시 위험을 완화합니다.

다재다능함과 미래 전망

DRAGOn은 뉴스뿐 아니라 과학 출판물, 법률 데이터베이스, 기업 지식 베이스로 확장됩니다. MWS AI 공동 저자는 AI 산업이 순수한 모델 규모보다 솔루션 품질로 전환되고 있다고 강조합니다.

참가자: SberAI, MWS AI, MBZUAI, ITMO, MISIS, HSE University, IITU, Yandex ShAD.

주요 takeaways:

• DRAGOn은 러시아어 RAG 시스템의 동적 테스트를 위한 최초 공개 방법론입니다.
• 업데이트 코퍼스를 처리하고 논리 작업을 생성합니다.
• 공개 리더보드는 현재 RAG 설정의 강점과 약점을 드러냅니다.
• 기업 사용에 이상적: 내부 데이터 기반 사설 벤치마크.
• 도메인 간 다재다능—뉴스부터 법률 분야까지.

— Editorial Team