DRAGOn : test des systèmes RAG sur données dynamiques

## DRAGOn : Méthodologie dynamique pour tester les systèmes RAG sur des corpus évolutifs

Les équipes de SberAI, MWS AI et des chercheurs universitaires ont présenté DRAGOn — une méthodologie dynamique et ouverte pour tester les systèmes RAG (Retrieval-Augmented Generation) en langue russe. Elle prend en compte les corpus de données mis à jour périodiquement, tels que les flux de nouvelles, et en construit une carte de connaissances. La méthodologie a été acceptée à la conférence EACL 2026 au Maroc.

Les systèmes RAG intègrent des LLM avec des bases de connaissances externes pour générer des réponses basées sur des données à jour. Cela minimise les hallucinations et renforce la fiabilité des agents IA dans les tâches d'analyse et de recherche.

Problèmes des approches existantes et solution DRAGOn

Les benchmarks traditionnels reposent sur des ensembles de données statiques qui deviennent rapidement obsolètes. Les connaissances d'entreprise sont dynamiques, mais les tests ne sont pas adaptés pour les gérer. DRAGOn résout cela :

• Construit automatiquement un graphe de connaissances à partir de sources en mise à jour.
• Génère des tâches logiques multi-niveaux impliquant la correspondance de faits entre différents documents.
• Évalue les réponses à l'aide d'un LLM séparé, en vérifiant la précision, la complétude et la similarité sémantique.

Le système est conçu pour les données en langue russe, en se concentrant sur les défis spécifiques au langage en matière de récupération et de génération.

Génération de tests et évaluation de la qualité

DRAGOn crée des requêtes non pas sous forme de paires Q&R simples, mais sous forme de chaînes de raisonnement : des faits de base aux inférences complexes. Exemple de flux de travail :

• Analyse du corpus mis à jour (nouvelles, rapports).
• Extraction d'entités et de relations pour construire le graphe de connaissances.
• Synthèse de questions avec des dépendances logiques.
• Exécution du système RAG et vérification des résultats avec un modèle juge.

Les métriques d'évaluation incluent la précision factuelle, le score de complétude et la cohérence logique. Des tests préliminaires montrent que la combinaison de plusieurs LLM avec une recherche hybride (dense + sparse) donne les meilleurs résultats, bien que les connexions complexes restent un défi.

Classement public et applications pratiques

Un classement ouvert pour les systèmes RAG en langue russe a été lancé. Les modèles les plus performants associent une récupération avancée (par ex., ColBERT) à des LLM affinés. Les résultats soulignent la valeur des ensembles multi-modèles.

Pour les développeurs, la méthodologie facilite la mise en place d'environnements de test privés :

• Intégration avec des données internes (docs, CRM).
• Génération automatique de benchmarks.
• Comparaisons de pipelines : modèles d'embeddings, reranking, stratégies de prompting.

Cela aide à atténuer les risques lors du déploiement en production des agents IA.

Polyvalence et perspectives d'avenir

DRAGOn s'étend au-delà des nouvelles aux publications scientifiques, bases de données juridiques et bases de connaissances d'entreprise. Un co-auteur de MWS AI met en lumière le virage de l'industrie IA vers la qualité des solutions plutôt que la simple échelle des modèles.

Participants : SberAI, MWS AI, MBZUAI, ITMO, MISIS, HSE University, IITU, Yandex ShAD.

Points clés :

• DRAGOn est la première méthodologie ouverte pour les tests dynamiques des systèmes RAG en langue russe.
• Elle gère les corpus en mise à jour et génère des tâches logiques.
• Le classement public révèle les forces et faiblesses des configurations RAG actuelles.
• Idéal pour l'entreprise : benchmarks privés sur données internes.
• Polyvalent dans tous les domaines — des nouvelles aux domaines juridiques.

— Editorial Team