Hybrid RAG ohne Cloud: Suche in Unternehmensdokumenten

Hybrid RAG in Unternehmenssystemen: Dokumentensuche ohne Cloud und Datenlecks

Große Unternehmen in regulierten Branchen haben ein häufiges Problem: Die Suche in internen Dokumenten dauert Stunden. Ein Logistikmanager zum Beispiel verschwendet Zeit damit, E-Mails, SharePoint und Archive zu durchforsten, um die Historie von Forderungen gegen einen Lieferanten zu prüfen. Der Grund ist der Mangel an intelligenter Suche, die den Sinn einer Abfrage erfasst und nicht nur Keywords. Hybrid RAG löst das, indem es die Daten fest im Unternehmensperimeter belässt.

Warum traditionelle Suche in regulierten Branchen scheitert

Unternehmensarchive sind eine Mischung aus PDFs, Scans, Tabellenkalkulationen und bilingualer Korrespondenz. Standard-ECM-Systeme und Suchmaschinen kämpfen mit heterogenen Daten. Eine Abfrage wie „Gab es Streitigkeiten bezüglich Code 8471300000?“ erfordert semantisches Verständnis und exakte numerische Treffer. Standard-RAG auf Basis semantischer Suche hapert bei Dokumenten mit Tabellen, handschriftlichen Notizen oder mehrsprachigem Inhalt. In Banken, Zollämtern und Anwaltskanzleien darf data das Perimeter nicht verlassen – Cloud-Lösungen sind architektonisch verboten.

Hybrid RAG kombiniert zwei Ansätze:

• Semantische Suche (dense vectors) zur Erfassung der Bedeutung
• Exakte Suche (sparse vectors) für Codes, SKUs und Zahlen

Das ist kein bloßer Mix – es ist eine mathematisch fundierte Verschmelzung der Ergebnisse via Reciprocal Rank Fusion (RRF). Der Algorithmus läuft ohne manuelle Gewichtsanpassung oder zusätzliches Training und integriert sich nahtlos in Vektordatenbanken wie Qdrant.

Selbstgehostete Hybrid-RAG-Architektur: Vom Dokument zur Antwort

Die Abfrageverarbeitung umfasst sechs Stufen, die jeweils für Sicherheit und Genauigkeit entscheidend sind:

• Dokumentenvorverarbeitung — Die Docling-Bibliothek normalisiert Scans auf 300 DPI, extrahiert Tabellen und Struktur. Das ist essenziell für das multimodale Qwen2.5-VL-Modell, das handschriftliche Notizen und komplexe Tabellen beherrscht.
• Duale Embeddings-Generierung — Das BAAI/bge-m3-Modell erzeugt pro Chunk zwei Vektoren: dense (Semantik) und sparse (exakte Treffer). Ein Modell für Indizierung und Abfragen sorgt für Vektorraum-Kompatibilität.
• Hybride Suche in Qdrant — Gleichzeitige Abfragen auf dense- und sparse-Vektoren mit automatischer RRF-Verschmelzung.
• Vorläufiges Reranking — FastEmbed reduziert die Liste auf 10 Kandidaten in 30–50 ms.
• Finales Reranking — Der Cross-Encoder bge-reranker-v2-m3 bewertet die Relevanz der Fragmente zur spezifischen Abfrage. Die selbstgehostete Version erhöht die Latenz um 150–400 ms, hält die Daten aber intern.
• Antwortgenerierung — Das quantisierte Qwen2.5-72B-Instruct (AWQ INT4)-Modell erstellt die Antwort aus dem gefilterten Kontext.

Das Schlüsselmerkmal: Alles läuft lokal. Sogar Reranking, das Cloud-Dienste (wie Voyage AI) beschleunigen, wird über selbstgehostete Komponenten umgesetzt, um Datensouveränitätsregeln einzuhalten.

Produktions-Tools: Warum LangGraph und Haystack unverzichtbar sind

LangChain reicht für Prototypen, aber in regulierten Umgebungen gibt es zwei Probleme. Erstens fehlt natives State-Management: Szenarien wie „bei Rerank-Score unter Schwellenwert Abfrage umformulieren“ brauchen Workarounds. LangGraph löst das mit expliziten Graph-Knoten, essenziell für Produktions-Debugging.

Zweitens Lücken bei der Observability. Ohne Tracing bleiben Qualitätsabstürze (durch Dokumentaktualisierungen oder Abfragemusterwechsel) bis zu Nutzerbeschwerden unbemerkt. Selbstgehostetes Langfuse protokolliert:

• Abgerufene Fragmente
• Rerank-Scores
• Latenz pro Stufe

Entscheidend: Langfuse läuft im Perimeter – sonst sickern Unternehmensdaten an Drittanbieter-SaaS ab.

Haystack eignet sich für Pre-Production-Tests. Pipeline-Änderungen (z. B. Chunking-Strategien) erlauben Evaluierungen auf einem Benchmark-Satz mit Metriken:

• Suchgenauigkeit (wie oft das richtige Dokument in den Top 5)
• Treue der Antworten zu den Quellen

Das schafft Vertrauen, dass Änderungen das System verbessern, nicht verschlechtern. LlamaIndex ist flexibel für Prototyping, bleibt aber bei integrierter Evaluierungs-Tiefe zurück.

Infrastrukturoptimierung: Von RTX 4090 bis A100

Die Modellwahl hängt vom Budget und Qualitätsbedarf ab:

• Qwen2.5-72B-Instruct in AWQ INT4 — Flaggschiff-Option. Braucht zwei A100 80GB GPUs, liefert Top-Qualität, besonders bei Tabellen. Ideal für große Kanzleien oder Banken.
• Qwen2.5-32B-Instruct — Sweet Spot. Läuft auf einer L40S 48GB (3x günstiger als A100) und behält 90 % der 72B-Qualität. Empfohlener Einstiegspunkt.
• Qwen2.5-14B-Instruct — bei knappen Ressourcen. Passt auf RTX 4090, kämpft aber mit komplexen mehrstufigen Abfragen.

Pro-Tipp: Mit 32B auf L40S starten, auf realen Daten testen, nur bei Bedarf skalieren. AWQ INT4-Quantisierung halbiert den Speicherbedarf ohne relevanten Qualitätsverlust.

Wichtige Erkenntnisse

• Hybrid RAG ist essenziell für chaotische Archive: Es verbindet semantische Suche und exakte Treffer via RRF.
• Selbstgehostete Architektur ist in regulierten Branchen unverzichtbar. Daten bleiben in jedem Schritt im Perimeter.
• LangGraph und Haystack sind Produktions-Must-haves: Das Erste managt Echtzeit-Abfragenlogik, das Zweite liefert objektive Qualitätsprüfungen.
• Infrastrukturkosten sind optimierbar: Qwen2.5-32B auf L40S erreicht 90 % der Flaggschiff-Leistung zu einem Drittel des Preises.

Das System antwortet in Sekunden, zitiert spezifische Dokumente und Seiten und gibt Lücken zu statt Halluzinationen. Das ist nicht nur bessere Suche – es ist der Wechsel von Schufterei zu intelligentem Wissenszugriff ohne Sicherheitsabstriche.

— Editorial Team