RAG agentique au hackathon : découpage et recherche

RAG agissant : construire un système de recherche documentaire juridique pour les tribunaux du DIFC

L'équipe 'Sparks of Intelligence' a développé deux systèmes RAG pour le défi Agentic Legal RAG 2026 d'EORA AI. L'objectif ? Fournir des réponses précises à des questions basées sur plus de 300 documents judiciaires du Dubai International Financial Centre (DIFC). Avec un prix total de 32 000 $ et plus de 300 participants, le concours s'est déroulé en deux phases : épreuve préliminaire (30 documents, 100 questions) et finale (300 documents, 900 questions). Les questions étaient classées par type — booléen, nom, date, nombre, texte libre — et évaluées selon la précision, la rapidité et l'utilisation des tokens.

Les limites de la recherche vectorielle dans le RAG

La recherche vectorielle excelle à trouver du contenu sémantiquement proche ('résiliation de contrat' ≈ 'annulation de contrat'), mais échoue sur des faits précis comme 'la ville où le procès Jason contre Kruger a eu lieu'. L'échelle des documents amplifie ce problème — de récupération rapide dans de petites bibliothèques à une indexation complexe sur de vastes corpus.

Le secret du succès ? Le découpage (chunking) : diviser le texte en segments significatifs. Une approche naïve (basée sur des motifs comme Article 1, Paragraphe 2) fonctionne avec des hiérarchies strictes, mais nécessite une taille optimale des morceaux. De petits fragments produisent des vecteurs clairs mais sans contexte ; les grands engendrent des représentations floues et ambiguës.

Problème illustratif :

• Texte original : "Les participants à l'audience étaient : Participant 1, Participant 2, Participant 3."
• Découpage par marqueurs de liste → chaque élément perd son sens.

Stratégies de découpage et recherche hybride

La recherche hybride combine similarité vectorielle, BM25 et métadonnées. Un reranker (modèle entraîné sur des paires question-réponse) affine les résultats top-k*10 pour n'en garder que les top-k, augmentant ainsi la précision.

Approches de découpage :

| Approche | Description | Avantages | Inconvénients |

|--------|----------|-----------|--------------|

| B1. Taille fixe + chevauchement | Morceaux de N tokens avec superposition | Simplicité | Risque de briser le contexte |

| B2. Hiérarchique | Grand morceau → petits morceaux ; contexte conservé depuis les unités grandes | Conservation du contexte | Complexité d'implémentation |

| B3. Sémantique | Regroupement piloté par IA selon le sens | Haute pertinence | Fort besoin de ressources |

L'équipe a opté pour B1 et B2, ignorant B3 en raison du temps imparti.

Architecture simple : efficacité au rendez-vous

Qdrant + LlamaIndex pour le stockage vectoriel, Unstructured pour l'extraction PDF tout en préservant la structure.

Découpage : par pages + chevauchement. Recherche : hybride + regex pour les motifs + filtrage par métadonnées. Reranker : activé.

Avantages :

• Implémentation rapide.
• Performance prévisible.
• Fondement directement tiré des morceaux par page.

Inconvénients :

• Le regex génère des faux positifs ou des manques.
• Dépendance rigide à la structure du document.
• Le fondement initial n’était pas dans les métadonnées (corrigé plus tard).

Résultats :

• Épreuve préliminaire : précision passée de 0,9 à 0,81 (après correction), fondement amélioré de 0,5 à 0,58.
• Épreuve finale : précision 0,79, fondement 0,63, vitesse moyenne.

RAG agissant : routeur et outils

Découpage : hiérarchique. Algorithme :

• LLM analyse la structure du document sur un échantillon.
• Identifie les motifs récurrents.
• Fusionne récursivement de petits morceaux pour atteindre la taille cible.

Problèmes : motifs inconstants entre pages → morceaux bruyants, de qualité médiocre.

Recherche : routeur d’agent dirige les requêtes vers quatre outils (métadonnées, correspondance exacte, comparaison de documents, hybride), filtrés par numéro de dossier ou référence légale. Architecture : routeur → outils (avec reranker) → générateur d’agent.

Avantages :

• Sélection correcte de l’outil selon le contexte.
• Filtrage efficace.

Inconvénients :

• Découpage instable.
• Morceaux bruyants produits.
• Non entièrement testé (erreurs API à la limite).

Résultats préliminaires : précision 0,74, fondement 0,6, vitesse lente (2 appels LLM). Soumission finale non livrée.

Leçons clés

• La recherche hybride + reranker est essentielle pour aller au-delà de la similarité sémantique.
• Le découpage par page est plus simple et plus stable que le découpage hiérarchique sous contrainte de temps.
• Les agents sont utiles pour le routage, mais exigent un schéma d'outils rigoureux et un test approfondi.
• Le fondement basé sur les métadonnées est crucial pour des réponses déterministes.
• Le regex complète, mais ne remplace pas la recherche vectorielle — à utiliser avec prudence pour éviter les faux déclenchements.

Verdict global : la solution simple a donné des résultats cohérents (0,79/0,63). L'approche agissante montre un potentiel, mais comporte des risques liés au découpage et au débogage. L'expérience confirme : privilégiez la prévisibilité plutôt que la complexité.

— Editorial Team