Agentic RAG beim Hackathon: Chunking und Suche

Agentic RAG: Ein System zur Rechtsdokumentensuche für die DIFC-Gerichte

Das Team 'Sparks of Intelligence' entwickelte zwei RAG-Systeme für die Agentic Legal RAG Challenge 2026 von EORA AI. Ziel war es, präzise Antworten auf Fragen basierend auf über 300 Gerichtsdokumenten des Dubai International Financial Centre (DIFC) zu liefern. Mit einem Preispool von 32.000 US-Dollar und mehr als 300 Teilnehmern bestand die Herausforderung aus zwei Phasen: Vorphase (30 Dokumente, 100 Fragen) und Finale (300 Dokumente, 900 Fragen). Die Fragen wurden nach Typ klassifiziert – boolesch, Name, Datum, Zahl, freier Text – und bewertet anhand von Genauigkeit, Geschwindigkeit und Token-Nutzung.

Herausforderungen der Vektor-Suche in RAG

Die Vektor-Suche ist hervorragend bei der Findung semantisch ähnlicher Inhalte ('Vertragsbeendigung' ≈ 'Vertragskündigung'), scheitert aber bei konkreten Fakten wie 'die Stadt, in der der Fall Jason gegen Kruger verhandelt wurde'. Die Skalierung der Dokumente verstärkt dieses Problem – von schneller Abfrage in kleinen Sammlungen bis hin zu komplexer Indexierung in riesigen Korpora.

Der Schlüssel zum Erfolg? Chunking: Aufteilung des Textes in sinnvolle Abschnitte. Ein naiver Ansatz (basierend auf Mustern wie Artikel 1, Absatz 2) funktioniert bei strengen Hierarchien, erfordert aber eine optimale Chunk-Größe. Zu kleine Chunks erzeugen klare, aber kontextlose Vektoren; zu große führen zu verschwommenen, mehrdeutigen Darstellungen.

Beispielproblem:

• Originaltext: "Anwesend bei der Anhörung waren: Teilnehmer 1, Teilnehmer 2, Teilnehmer 3."
• Aufteilung nach Listenmarkern → jedes Element verliert seinen Sinn.

Chunking-Strategien und Hybrid-Suche

Hybrid-Suche kombiniert Vektorähnlichkeit, BM25 und Metadaten. Ein Reranker (ein Modell, das auf Frage-Antwort-Paaren trainiert wurde) verfeinert die besten k*10 Ergebnisse auf die Top-k-Ergebnisse für höhere Präzision.

Chunking-Ansätze:

| Ansatz | Beschreibung | Vorteile | Nachteile |

|--------|----------|-------|--------|

| B1. Fixe Größe + Überlappung | Chunks mit N Tokens und Überlappung | Einfachheit | Risiko, den Kontext zu zerbrechen |

| B2. Hierarchisch | Große Chunks → kleinere; Kontext aus größeren Einheiten erhalten | Kontextbewahrung | Hohe Implementierungskomplexität |

| B3. Semantisch | ML-gesteuerte Gruppierung nach Bedeutung | Hohe Relevanz | Hoher Ressourcenbedarf |

Das Team setzte auf B1 und B2, B3 wurde aufgrund zeitlicher Engpässe ausgelassen.

Einfache Lösungsarchitektur

Qdrant + LlamaIndex für Vektor-Speicherung, Unstructured für PDF-Parser mit Erhalt der Struktur.

Chunking: nach Seiten + Überlappung. Suche: Hybrid + Regex für Muster + Metadatenfilter. Reranker: ja.

Vorteile:

• Schnelle Umsetzung.
• Vorhersagbare Leistung.
• Grundlage direkt aus seitenbasierten Chunks.

Nachteile:

• Regex führt zu falschen Positiven oder verpassten Treffern.
• Starke Abhängigkeit von Dokumentstruktur.
• Ursprüngliche Grundlage nicht in Metadaten (später behoben).

Ergebnisse:

• Vorphase: Genauigkeit sank von 0,9 auf 0,81 (nach Korrektur), Grundlage verbesserte sich von 0,5 auf 0,58.
• Finale Phase: Genauigkeit 0,79, Grundlage 0,63, durchschnittliche Geschwindigkeit.

Agentic RAG: Router und Tools

Chunking: hierarchisch. Algorithmus:

• LLM analysiert Dokumentstruktur anhand einer Stichprobe.
• Identifiziert wiederkehrende Muster.
• Verschmilzt kleine Chunks rekursiv zu Zielgröße.

Herausforderungen: inkonsistente Muster über Seiten → störende, qualitativ schlechte Chunks.

Suche: Agent-Router leitet Anfragen an vier Tools (Metadaten, exakte Übereinstimmung, Dokumentenvergleich, Hybrid), gefiltert nach Fallnummer oder Gesetzesverweis. Architektur: Router → Tools (mit Reranker) → Agent-Generator.

Vorteile:

• Korrekte Werkzeugauswahl basierend auf Kontext.
• Filter funktionierten effektiv.

Nachteile:

• Instabiles Chunking.
• Störende Chunks entstanden.
• Nicht vollständig getestet (API-Fehler am Ende).

Vorläufige Ergebnisse: Genauigkeit 0,74, Grundlage 0,6, langsame Geschwindigkeit (2 LLM-Aufrufe). Endabgabe nicht geliefert.

Wichtige Erkenntnisse

• Hybrid-Suche + Reranker sind essenziell für Genauigkeit jenseits von Semantik.
• Seitengestütztes Chunking ist einfacher und stabiler als hierarchisches Chunking unter Zeitdruck.
• Agenten sind wertvoll für Routing, erfordern aber ein striktes Tool-Schema und gründliche Tests.
• Metadaten-basierte Grundlage ist entscheidend für deterministische Antworten.
• Regex ergänzt, ersetzt aber nicht die Vektor-Suche – vorsichtig einsetzen, um falsche Auslöser zu vermeiden.

Fazit: Die einfache Lösung lieferte konsistente Ergebnisse (0,79/0,63). Der agentenbasierte Ansatz zeigte Potenzial, birgt aber Risiken im Chunking und Debugging. Die Erfahrung bestätigt: Priorität hat Vorhersagbarkeit vor Komplexität.

— Editorial Team