# DRAGOn: dynamická metodologie pro testování RAG-systémů na aktualizovaných korpusech
Tým SberAI, MWS AI a výzkumníci z univerzit představili DRAGOn — otevřenou dynamickou metodologii testování ruskojazyčných RAG-systémů (Retrieval-Augmented Generation). Zohledňuje periodicky aktualizované korpusy dat, jako jsou novinové pásky, a vytváří z nich mapu znalostí. Metodologie byla přijata na konferenci EACL 2026 v Maroku.
RAG-systémy integrují LLM s externími znalostními databázemi pro generování odpovědí na základě aktuálních dat. To minimalizuje halucinace a zvyšuje spolehlivost AI agentů v úlohách analýzy a vyhledávání.
Problémy stávajících přístupů a řešení DRAGOn
Tradiční benchmarky používají statické datasety, které rychle stárnou. Firemní znalosti jsou dynamické, ale testy nejsou na ně přizpůsobené. DRAGOn to řeší:
- Automaticky buduje mapu znalostí z aktualizovaných zdrojů.
- Generuje víceúrovňové logické úlohy se srovnáním faktů z různých dokumentů.
- Hodnotí odpovědi prostřednictvím samostatné LLM a kontroluje přesnost, úplnost a sémantickou blízkost.
Systém pracuje s ruskojazyčnými daty a zaměřuje se na specifičnost jazyka v úlohách retrieval a generation.
Generování testů a hodnocení kvality
DRAGOn vytváří dotazy ne jako jednoduché Q&A, ale jako řetězce uvažování: od základních faktů k složitým závěrům. Příklad workflow:
- Parsování aktualizovaného korpusu (zprávy, reporty).
- Extrakce entit a vztahů pro graf znalostí.
- Syntéza otázek s logickými závislostmi.
- Spuštění RAG-systému a ověření prostřednictvím judge-modelu.
Hodnocení zahrnuje metriky: factual accuracy, completeness score, logical coherence. Předběžné testy ukazují, že kombinace několika LLM a hybridního search (dense + sparse) dává nejlepší výsledky, ale složité vazby zůstávají výzvou.
Veřejný leaderboard a praktické využití
Byl spuštěn otevřený rating ruskojazyčných RAG-systémů. Nejlepší modely kombinují pokročilé retrieval (např. ColBERT) s fine-tuned LLM. Výsledky zdůrazňují potřebu multimodálních ansamblů.
Pro vývojáře metodologie umožňuje nasazovat soukromá testovací prostředí:
- Integrace s interními daty (docs, CRM).
- Automatická generace benchmarků.
- Srovnání pipelineů: embedding models, reranking, prompting strategies.
To snižuje rizika při nasazení AI agentů do produkce.
Univerzálnost a perspektivy
DRAGOn je použitelná mimo zprávy: vědecké publikace, právní databáze, enterprise knowledge bases. Spolupracovník z MWS AI poznamenává posun zaměření AI průmyslu k kvalitě řešení, nikoli k velikosti modelů.
Účastníci: SberAI, MWS AI, MBZUAI, ITMO, MISIS, NIU VŠÉ, IITU, ŠAD Yandexu.
Co je důležité:
- DRAGOn — první otevřená metodologie pro dynamické ruskojazyčné RAG-testy.
- Pracuje s aktualizovanými korpusy, generuje logické úlohy.
- Veřejný leaderboard odhaluje silné a slabé stránky aktuálních RAG.
- Vhodná pro enterprise: soukromé benchmarky na interních datech.
- Univerzální pro různé domény — od zpráv po právnictví.
— Editorial Team
Zatím žádné komentáře.