# DRAGOn: dynamiczna metodologia testowania systemów RAG na aktualizowanych korpusach
Zespół SberAI, MWS AI oraz badacze z uczelni wyższych przedstawili DRAGOn — otwartą dynamiczną metodologię testowania rosyjskojęzycznych systemów RAG (Retrieval-Augmented Generation). Uwzględnia ona okresowo aktualizowane korpusy danych, takie jak serwisy informacyjne, i tworzy z nich mapę wiedzy. Metodologia została przyjęta na konferencję EACL 2026 w Maroku.
Systemy RAG integrują LLM z zewnętrznymi bazami wiedzy w celu generowania odpowiedzi na podstawie aktualnych danych. Minimalizuje to halucynacje i zwiększa niezawodność agentów AI w zadaniach analizy i wyszukiwania.
Problemy istniejących podejść i rozwiązanie DRAGOn
Tradycyjne benchmarki wykorzystują statyczne zbiory danych, które szybko się dezaktualizują. Wiedza korporacyjna jest dynamiczna, ale testy nie są do niej dostosowane. DRAGOn rozwiązuje to w następujący sposób:
- Automatycznie buduje mapę wiedzy z aktualizowanych źródeł.
- Generuje wielopoziomowe zadania logiczne z mapowaniem faktów z różnych dokumentów.
- Ocenia odpowiedzi za pomocą oddzielnego LLM, sprawdzając dokładność, kompletność i semantyczną bliskość.
System działa z danymi rosyjskojęzycznymi, skupiając się na specyfice języka w zadaniach retrieval i generacji.
Generowanie testów i ocena jakości
DRAGOn tworzy zapytania nie jako proste Q&A, lecz jako łańcuchy rozumowania: od podstawowych faktów po złożone wnioski. Przykładowy workflow:
- Parsowanie zaktualizowanego korpusu (wiadomości, raporty).
- Wyodrębnianie encji i relacji do grafu wiedzy.
- Synteza pytań z zależnościami logicznymi.
- Uruchomienie systemu RAG i weryfikacja za pomocą modelu judge.
Ocena obejmuje metryki: factual accuracy, completeness score, logical coherence. Wstępne testy pokazują, że kombinacje kilku LLM i hybrid search (dense + sparse) dają najlepsze wyniki, ale złożone powiązania pozostają wyzwaniem.
Publiczny leaderboard i praktyczne zastosowanie
Uruchomiono otwarty ranking rosyjskojęzycznych systemów RAG. Najlepsze modele łączą zaawansowane retrieval (np. ColBERT) z fine-tuned LLM. Wyniki podkreślają konieczność ensemble'ów wielomodelowych.
Dla deweloperów metodologia umożliwia wdrażanie prywatnych środowisk testowych:
- Integracja z danymi wewnętrznymi (dokumenty, CRM).
- Automatyczna generacja benchmarków.
- Porównanie pipeline'ów: modele embeddingów, reranking, strategie promptingu.
To zmniejsza ryzyka przy wdrożeniach produkcyjnych agentów AI.
Uniwersalność i perspektywy
DRAGOn ma zastosowanie poza wiadomościami: publikacje naukowe, bazy prawne, enterprise knowledge bases. Współautor z MWS AI podkreśla przesunięcie fokusem branży AI ku jakości rozwiązań, a nie skali modeli.
Uczestnicy: SberAI, MWS AI, MBZUAI, ITMO, MISiS, NIU WSzE, IITU, SHAD Yandexa.
Co ważne:
- DRAGOn — pierwsza otwarta metodologia dla dynamicznych testów RAG w języku rosyjskim.
- Działa z aktualizowanymi korpusami, generuje zadania logiczne.
- Publiczny leaderboard ujawnia mocne i słabe strony obecnych RAG.
- Nadaje się dla enterprise: prywatne benchmarki na danych wewnętrznych.
- Uniwersalna dla różnych domen — od wiadomości po prawo.
— Editorial Team
Brak komentarzy.