Agentic RAG en hackathon: chunking y búsqueda

Agentic RAG: Construyendo un sistema de búsqueda de documentos legales para los tribunales del DIFC

El equipo 'Sparks of Intelligence' creó dos sistemas RAG para el Desafío Agentic Legal RAG 2026 organizado por EORA AI. El objetivo: ofrecer respuestas precisas a preguntas basadas en más de 300 documentos judiciales del Centro Financiero Internacional de Dubái (DIFC). Con un premio total de 32.000 dólares y más de 300 participantes, el desafío se dividió en dos fases: preliminar (30 documentos, 100 preguntas) y final (300 documentos, 900 preguntas). Las preguntas se clasificaron por tipo—booleanas, de nombre, fecha, número o texto libre—y se evaluaron según precisión, velocidad y uso de tokens.

Los retos de la búsqueda vectorial en RAG

La búsqueda vectorial destaca al encontrar contenido semánticamente similar ('terminación de contrato' ≈ 'cancelación de contrato'), pero falla con hechos específicos como 'la ciudad donde se celebró el caso Jason vs. Kruger'. La escala documental agrava este problema: desde recuperación rápida en bibliotecas pequeñas hasta índices complejos en corpora masivos.

¿Cuál es la clave del éxito? El chunking: dividir el texto en segmentos significativos. Un enfoque ingenuo (basado en patrones como Artículo 1, Párrafo 2) funciona con jerarquías estrictas, pero requiere un tamaño óptimo de fragmentos. Fragmentos pequeños generan vectores claros pero sin contexto; los grandes producen representaciones borrosas y ambiguas.

Problema ilustrativo:

• Texto original: "Los asistentes a la audiencia fueron: Participante 1, Participante 2, Participante 3."
• Dividir por marcadores de lista → cada elemento pierde su significado.

Estrategias de chunking y búsqueda híbrida

La búsqueda híbrida combina similitud vectorial, BM25 y metadatos. Un reranker (modelo entrenado con pares pregunta-respuesta) refina los resultados top-k*10 para reducirlos a top-k, mejorando la precisión.

Estrategias de chunking:

| Enfoque | Descripción | Ventajas | Desventajas |

|--------|----------|-------|--------|

| B1. Tamaño fijo + solapamiento | Fragmentos de N tokens con superposición | Simplicidad | Riesgo de romper el contexto |

| B2. Jerárquico | Fragmentos grandes → más pequeños; se conserva el contexto de unidades mayores | Retención del contexto | Complejidad de implementación |

| B3. Semántico | Agrupación impulsada por IA según significado | Alta relevancia | Alto consumo de recursos |

El equipo usó B1 y B2, omitiendo B3 por limitaciones de tiempo.

Arquitectura simple: solución efectiva

Qdrant + LlamaIndex para almacenamiento vectorial, Unstructured para parsear PDFs manteniendo la estructura.

Chunking: por páginas + solapamiento. Búsqueda: híbrida + expresiones regulares para patrones + filtrado por metadatos. Reranker: sí.

Ventajas:

• Implementación rápida.
• Rendimiento predecible.
• Fundamentación derivada directamente de fragmentos por página.

Desventajas:

• Las expresiones regulares generan falsos positivos o omisiones.
• Dependencia rígida de la estructura del documento.
• La fundamentación inicial no estaba en metadatos (corregido después).

Resultados:

• Fase preliminar: precisión bajó de 0,9 a 0,81 (tras la corrección), fundamentación mejoró de 0,5 a 0,58.
• Fase final: precisión 0,79, fundamentación 0,63, velocidad promedio.

RAG agente: router y herramientas

Chunking: jerárquico. Algoritmo:

• LLM analiza la estructura del documento en una muestra.
• Identifica patrones recurrentes.
• Fusiona recursivamente fragmentos pequeños hasta alcanzar el tamaño objetivo.

Retos: patrones inconsistentes entre páginas → fragmentos ruidosos y de baja calidad.

Búsqueda: un router agente dirige las consultas a cuatro herramientas (metadatos, coincidencia exacta, comparación de documentos, híbrida), filtradas por número de caso o referencia legal. Arquitectura: router → herramientas (con reranker) → generador agente.

Ventajas:

• Selección correcta de herramienta según contexto.
• Filtrado funcional.

Desventajas:

• Chunking inestable.
• Fragmentos ruidosos.
• No completamente probado (errores de API al cierre).

Resultados preliminares: precisión 0,74, fundamentación 0,6, velocidad lenta (2 llamadas a LLM). Entrega final no cumplida.

Conclusiones clave

• La búsqueda híbrida + reranker es esencial para precisión más allá de la similitud semántica.
• El chunking por páginas es más sencillo y estable que el jerárquico bajo plazos ajustados.
• Los agentes son útiles para enrutamiento, pero requieren un esquema de herramientas estricto y pruebas exhaustivas.
• La fundamentación basada en metadatos es crítica para respuestas deterministas.
• Las expresiones regulares complementan, pero no sustituyen, la búsqueda vectorial: usarlas con precaución para evitar disparadores falsos.

Veredicto general: la solución simple entregó resultados consistentes (0,79/0,63). El enfoque agente mostró potencial, pero con riesgos en chunking y depuración. La experiencia confirmó: prioriza la previsibilidad sobre la complejidad.

— Editorial Team