DRAGOn: Test von RAG-Systemen auf dynamischen Daten

DRAGOn: Dynamische Methodik zum Testen von RAG-Systemen auf sich entwickelnden Korpora

Die Teams von SberAI, MWS AI und Universitätsforschern haben DRAGOn vorgestellt – eine offene dynamische Methodik zum Testen russischsprachiger RAG-(Retrieval-Augmented-Generation)-Systeme. Sie berücksichtigt periodisch aktualisierte Datenkorpora, wie Nachrichtenfeeds, und erstellt daraus eine Wissenskarte. Die Methodik wurde für die EACL 2026 Konferenz in Marokko angenommen.

RAG-Systeme integrieren LLMs mit externen Wissensbasen, um Antworten basierend auf aktuellen Daten zu generieren. Das minimiert Halluzinationen und steigert die Zuverlässigkeit von KI-Agenten bei Analyse- und Suchaufgaben.

Probleme bestehender Ansätze und die DRAGOn-Lösung

Traditionelle Benchmarks basieren auf statischen Datensätzen, die schnell veralten. Unternehmenswissen ist dynamisch, aber Tests sind nicht darauf ausgelegt, damit umzugehen. DRAGOn löst das:

• Baut automatisch einen Wissensgraphen aus aktualisierenden Quellen auf.
• Generiert mehrstufige logische Aufgaben mit Faktenabgleich über verschiedene Dokumente hinweg.
• Bewertet Antworten mit einem separaten LLM auf Genauigkeit, Vollständigkeit und semantische Ähnlichkeit.

Das System ist für russischsprachige Daten konzipiert und konzentriert sich auf sprachspezifische Herausforderungen bei Retrieval und Generierung.

Testgenerierung und Qualitätsbewertung

DRAGOn erstellt Abfragen nicht als einfache Frage-Antwort-Paare, sondern als Schlussfolgerungsketten: von Basisfakten bis zu komplexen Inferenzen. Beispielhafter Ablauf:

• Parsen des aktualisierten Korpus (Nachrichten, Berichte).
• Extrahieren von Entitäten und Relationen zum Aufbau des Wissensgraphen.
• Synthetisieren von Fragen mit logischen Abhängigkeiten.
• Ausführen des RAG-Systems und Überprüfung der Ergebnisse mit einem Judge-Modell.

Bewertungsmetriken umfassen faktenbasierte Genauigkeit, Vollständigkeitswert und logische Kohärenz. Vorläufige Tests zeigen, dass die Kombination mehrerer LLMs mit hybrider Suche (dense + sparse) die besten Ergebnisse liefert, obwohl komplexe Verknüpfungen weiterhin eine Herausforderung darstellen.

Öffentliches Leaderboard und praktische Anwendungen

Ein offenes Leaderboard für russischsprachige RAG-Systeme wurde gestartet. Die besten Modelle kombinieren fortschrittliches Retrieval (z. B. ColBERT) mit feinabgestimmten LLMs. Die Ergebnisse unterstreichen den Wert von Multi-Model-Ensembles.

Für Entwickler erleichtert die Methodik die Einrichtung privater Testumgebungen:

• Integration interner Daten (Dokumente, CRM).
• Automatische Benchmark-Generierung.
• Vergleich von Pipelines: Embedding-Modelle, Reranking, Prompting-Strategien.

Das hilft, Risiken bei der Produktivbereitstellung von KI-Agenten zu minimieren.

Vielseitigkeit und Zukunftsperspektiven

DRAGOn erstreckt sich über Nachrichten hinaus auf wissenschaftliche Publikationen, Rechtsdatenbanken und Unternehmenswissensbasen. Ein Mitautor von MWS AI betont den Wandel in der KI-Branche hin zu Lösungsqualität statt reiner Modellgröße.

Beteiligte: SberAI, MWS AI, MBZUAI, ITMO, MISIS, HSE University, IITU, Yandex ShAD.

Wichtige Erkenntnisse:

• DRAGOn ist die erste offene Methodik für dynamisches Testen russischsprachiger RAG-Systeme.
• Sie handhabt aktualisierte Korpora und generiert logische Aufgaben.
• Das öffentliche Leaderboard deckt Stärken und Schwächen aktueller RAG-Setups auf.
• Ideal für den Unternehmenseinsatz: private Benchmarks auf internen Daten.
• Vielseitig einsetzbar über Domänen hinweg – von Nachrichten bis zu Rechtsbereichen.

— Editorial Team