DRAGOn: prueba de sistemas RAG en datos dinámicos

## DRAGOn: Metodología Dinámica para Probar Sistemas RAG en Corpora Evolutivos

Los equipos de SberAI, MWS AI y investigadores universitarios han presentado DRAGOn: una metodología dinámica y abierta para probar sistemas RAG (Retrieval-Augmented Generation) en ruso. Toma en cuenta corpora de datos actualizados periódicamente, como flujos de noticias, y construye un mapa de conocimiento a partir de ellos. La metodología ha sido aceptada en la conferencia EACL 2026 en Marruecos.

Los sistemas RAG integran LLMs con bases de conocimiento externas para generar respuestas basadas en datos actualizados. Esto minimiza las alucinaciones y aumenta la fiabilidad de los agentes de IA en tareas de análisis y búsqueda.

Problemas con los Enfoques Existentes y la Solución DRAGOn

Los benchmarks tradicionales dependen de conjuntos de datos estáticos que se vuelven obsoletos rápidamente. El conocimiento corporativo es dinámico, pero las pruebas no están adaptadas para manejarlo. DRAGOn lo resuelve:

• Construye automáticamente un grafo de conocimiento a partir de fuentes en actualización.
• Genera tareas lógicas multinivel que implican coincidencia de hechos entre distintos documentos.
• Evalúa las respuestas mediante un LLM independiente, verificando precisión, completitud y similitud semántica.

El sistema está diseñado para datos en ruso, con enfoque en los desafíos específicos del idioma en recuperación y generación.

Generación de Pruebas y Evaluación de Calidad

DRAGOn crea consultas no como pares simples de pregunta-respuesta, sino como cadenas de razonamiento: desde hechos básicos hasta inferencias complejas. Flujo de trabajo de ejemplo:

• Análisis del corpus actualizado (noticias, informes).
• Extracción de entidades y relaciones para construir el grafo de conocimiento.
• Síntesis de preguntas con dependencias lógicas.
• Ejecución del sistema RAG y verificación de resultados con un modelo juez.

Las métricas de evaluación incluyen precisión factual, puntuación de completitud y coherencia lógica. Pruebas preliminares muestran que combinar múltiples LLMs con búsqueda híbrida (densa + dispersa) ofrece los mejores resultados, aunque las conexiones complejas siguen siendo un reto.

Tabla de Clasificación Pública y Aplicaciones Prácticas

Se ha lanzado una tabla de clasificación abierta para sistemas RAG en ruso. Los modelos mejor posicionados combinan recuperación avanzada (p. ej., ColBERT) con LLMs ajustados. Los resultados resaltan el valor de los ensembles multimodelo.

Para desarrolladores, la metodología facilita la configuración de entornos de prueba privados:

• Integración con datos internos (documentos, CRM).
• Generación automática de benchmarks.
• Comparaciones de pipelines: modelos de embedding, reranking, estrategias de prompting.

Esto ayuda a mitigar riesgos en el despliegue en producción de agentes de IA.

Versatilidad y Perspectivas Futuras

DRAGOn va más allá de las noticias y se extiende a publicaciones científicas, bases de datos legales y bases de conocimiento empresariales. Un coautor de MWS AI destaca el giro de la industria de IA hacia la calidad de las soluciones por encima de la mera escala de los modelos.

Participantes: SberAI, MWS AI, MBZUAI, ITMO, MISIS, HSE University, IITU, Yandex ShAD.

Lecciones clave:

• DRAGOn es la primera metodología abierta para pruebas dinámicas de sistemas RAG en ruso.
• Maneja corpora actualizables y genera tareas lógicas.
• La tabla de clasificación pública revela fortalezas y debilidades de las configuraciones RAG actuales.
• Ideal para uso empresarial: benchmarks privados sobre datos internos.
• Versátil en diversos dominios, desde noticias hasta ámbitos legales.

— Editorial Team