DRAGOn：动态数据上 RAG 系统的测试

# DRAGOn：测试演化语料库上 RAG 系统的动态方法论

SberAI、MWS AI 团队以及大学研究人员推出 DRAGOn——一种开源的动态方法论，用于测试俄语 RAG（Retrieval-Augmented Generation）系统。它针对定期更新的数据语料库（如新闻源），并从中构建知识图谱。该方法论已被 EACL 2026 会议（摩洛哥）接受。

RAG 系统将 LLM 与外部知识库整合，根据最新数据生成响应。这能最大限度减少幻觉，提升 AI 代理在分析和搜索任务中的可靠性。

现有方法的痛点与 DRAGOn 解决方案

传统基准测试依赖静态数据集，这些数据集很快就会过时。企业知识是动态的，但测试方法并未适应这种变化。DRAGOn 解决了这些问题：

• 自动从更新源构建知识图谱。
• 生成多层次逻辑任务，涉及跨不同文档的事实匹配。
• 使用独立的 LLM 评估响应，检查准确性、完整性和语义相似度。

该系统专为俄语数据设计，聚焦检索和生成中的语言特定挑战。

测试生成与质量评估

DRAGOn 创建的查询不是简单的问答对，而是推理链：从基本事实到复杂推断。示例工作流程：

• 解析更新语料库（新闻、报告）。
• 提取实体和关系，构建知识图谱。
• 合成具有逻辑依赖的查询。
• 运行 RAG 系统，并使用评判模型验证结果。

评估指标包括事实准确性、完整性分数和逻辑连贯性。初步测试显示，结合多个 LLM 与混合搜索（稠密 + 稀疏）能获得最佳效果，尽管复杂连接仍具挑战。

公开排行榜与实际应用

已推出俄语 RAG 系统的公开排行榜。表现最佳的模型将高级检索（如 ColBERT）与微调 LLM 搭配。结果凸显多模型集成的重要性。

对开发者而言，该方法论便于搭建私有测试环境：

• 与内部数据（文档、CRM）集成。
• 自动生成基准测试。
• 管道对比：嵌入模型、重排序、提示策略。

这有助于在 AI 代理生产部署中降低风险。

通用性与未来展望

DRAGOn 不仅限于新闻，还可扩展至科学出版物、法律数据库和企业知识库。MWS AI 合著者强调，AI 行业正从单纯追求模型规模转向解决方案质量。

参与者：SberAI、MWS AI、MBZUAI、ITMO、MISIS、HSE University、IITU、Yandex ShAD。

关键要点：

• DRAGOn 是首个开源方法论，用于动态测试俄语 RAG 系统。
• 它处理更新语料库并生成逻辑任务。
• 公开排行榜揭示当前 RAG 配置的优缺点。
• 适合企业使用：在内部数据上创建私有基准。
• 跨领域通用——从新闻到法律领域。

— Editorial Team