Grafo en lugar de RAG para documentos regulatorios

Modelo de Documentos Basado en Grafos en Lugar de RAG Vectorial: Experiencia con Documentos Normativos

El RAG estándar —dividir texto en fragmentos, vectorizar y buscar— falla con documentos normativos. La búsqueda semántica encuentra cláusulas relevantes pero ignora subcláusulas relacionadas, notas o referencias cruzadas. El resultado: respuestas incompletas donde el modelo saca conclusiones de fragmentos aislados, perdiendo contexto esencial.

Para preguntas que involucran cadenas de regulaciones, la recuperación trae ruido o pierde elementos clave. El problema no es el LLM, sino la representación plana de documentos, donde la unidad mínima de almacenamiento no coincide con la unidad de significado.

Modelo Estructurado: De Texto a Jerarquía de Nodos

Los documentos se modelan como un árbol de elementos direccionables:

• Nodo raíz — el documento completo.
• Secciones, cláusulas, subcláusulas.
• Tablas y fórmulas como nodos separados.
• Conexiones entre nodos.
• Una capa separada para términos con definiciones.

La indexación se basa en estructura normalizada, no en fragmentos crudos después del análisis. Esto preserva la jerarquía y permite acceso preciso a elementos.

Agrupación de Contexto: Por Qué Un Solo Nodo No Es Suficiente

Los nodos atómicos (cláusulas individuales) pierden contexto local. Para una pregunta como "salidas de emergencia mínimas", necesitas no solo la cláusula principal sino:

• Subcláusulas adyacentes al mismo nivel.
• Notas.
• Tablas relacionadas.
• Referencias cruzadas a otras secciones o documentos.

La agrupación ocurre por padre común y nivel de anidación, con un límite de tamaño. No hay un tamaño universal de fragmento: grupos pequeños pierden significado, grupos grandes añaden ruido a la recuperación. La agrupación estructural mejora la robustez de las respuestas al incluir bloques significativos en el índice.

Recuperación Multimodal: Más Allá de la Búsqueda Vectorial

La búsqueda semántica funciona para consultas libres, pero los documentos normativos requieren precisión:

• Búsqueda puntual por número de cláusula (ej., 6.2.2).
• Búsqueda de tablas (ej., Tabla 7.1).
• Búsqueda léxica e híbrida.
• Capa de terminología.
• Búsqueda de referencias cruzadas.

Una sola consulta activa múltiples estrategias en paralelo: búsqueda puntual por cláusula + palabra clave + términos. Los resultados se combinan en un constructor de contexto por un agente de búsqueda.

Capa de Terminología para Sinonimia

Usuarios y documentos usan diferentes frases: términos oficiales, abreviaturas, definiciones dispersas. Los términos se extraen por separado:

• Extracción del documento.
• Vinculación a definiciones.
• Indexación separada.
• Uso como señal adicional en recuperación.

Esto conecta consultas por conceptos a fragmentos relevantes, mejorando la recuperación.

Grafo de Conexiones: Contexto Obligatorio

La jerarquía no garantiza extraer regulaciones relacionadas. Un grafo añade relaciones tipadas:

• obligatorio — compañero obligatorio de un nodo.
• cruzado — referencia cruzada.
• Documento ↔ nodo.
• Nodo ↔ tabla.
• Entre documentos.

Cuando ocurre un acierto relevante, la recuperación añade forzosamente nodos relacionados, incluso si no están en el top-k por semántica. Esto evita respuestas incompletas.

Mejoras Prácticas del Sistema

El modelo basado en grafos hace las respuestas robustas:

• Referencias precisas a cláusulas con contexto.
• Manejo de tablas sin perder descripciones.
• Distinción de términos de frases similares.
• Cadenas de regulaciones en lugar de fragmentos aislados.

El sistema deja de ser un chat — se convierte en una herramienta para respuestas verificables.

Puntos Clave:

• Los documentos no son texto plano sino una jerarquía direccionable con un grafo de conexiones.
• La recuperación es multicapa: vectorial + puntual + términos + conexiones.
• Agrupación por estructura, no por tokens, para preservar contexto.
• Las conexiones obligatorias se expresan explícitamente en datos.
• Una pregunta — múltiples búsquedas con composición de resultados.

Lecciones para Dominios Complejos

La calidad de RAG en contextos normativos está determinada por datos, no por el modelo. Conclusiones clave:

• Estructurar documentos como un grafo de nodos.
• Fragmentación por jerarquía, con tamaño adaptativo.
• Componer estrategias de recuperación.
• Extraer términos y conexiones obligatorias.

Esto escala a otros dominios con estructura rígida: código, especificaciones, contratos.

— Editorial Team