PageIndex in RAG: Ersatz für Vektorsuche

PageIndex als Alternative zur Vektorsuche in RAG: Analyse und lokale Einrichtung

PageIndex schlägt vor, die Vektorsuche in RAG durch eine hierarchische Dokumentenstruktur zu ersetzen. Das Dokument wird in Seiten segmentiert, und ein LLM erstellt eine Inhaltsverzeichnis-Baumstruktur mit Knotenzusammenfassungen. Suchanfragen werden an das LLM geleitet, um relevante Knoten auszuwählen, gefolgt von extrahierten Seiten als Kontext. Keine Chunking-, Embedding- oder Vektordatenbanken erforderlich.

Skalierungsgrenzen

PageIndex ist für einzelne Dokumente optimiert. Für Sammlungen werden folgende Ansätze vorgeschlagen:

• Metadatenfilterung (in Entwicklung, ähnlich wie bei Vektorspeichern).
• Suche über generierte Beschreibungen (für kleine Mengen).
• Semantische Suche (kehrt zu Vektoreinbettungen zurück).

Das Inhaltsverzeichnis mit Zusammenfassungen komprimiert den Kontext um das 4- bis 5-fache. Alternativen wie TF-IDF oder BM25 erfordern Indexierung. Die Speicherung des Inhaltsverzeichnisses für Tausende von Dokumenten bleibt ungelöst. Hier ersetzt das LLM die Ähnlichkeitssuche durch eine Relevanzsuche, ähnlich der Navigation durch komplexe Texte über ein Inhaltsverzeichnis.

Eine behauptete Genauigkeit von 98,7 % auf FinanceBench (gegenüber ~90 % für Vektorsuche) wird durch logisches Schlussfolgern erreicht. Die Kosten sind um ein Vielfaches höher. Getestet mit gpt-4o und gpt-5.4.

Experimente mit lokalen Modellen

Getestet an einem akademischen Artikel über Cyberpunk 2077 (PDF, ~17k Tokens). Die Markdown-Pipeline ähnelt MarkdownTextSplitter von LangChain – Aufteilung nach Überschriften.

Die PDF-Pipeline extrahiert Überschriften automatisch, aber mit Problemen:

• JSON-Ausgabefehler – Textverarbeitung (Entfernen von Bibliografien, Zitaten).
• Genauigkeitsschwelle von 60 % – reduziert über Umgebungsvariable ACCURACY_THRESHOLD.
• Geringe Genauigkeit durch LLM-Abgleich von Knoten und Fragmenten – MAX_TOKENS von 20k erhöht.

Modelle:

• gemma3:27b – halluziniert Inhaltsverzeichnis (Genauigkeit <60 %).
• gpt-oss:20b – Genauigkeit 57–63 %, stabil.
• qwen3:14b – Genauigkeit 69,57 %, aber mit JSON-Fehlern.

Zeit auf 16GB GPU: ~30 Min (Fehlerkorrektur dominiert).

Beispiel-Inhaltsverzeichnis (gpt-oss:20b, Genauigkeit 0,63):

{
  "doc_name": "2077.pdf",
  "structure": [
    {
      "title": "Einführung",
      "node_id": "0000",
      "start_index": 1,
      "end_index": 3,
      "summary": "Die Arbeit untersucht, wie das Videospiel Cyberpunk 20...",
      "text": "Eine Cyberpunk 2077-Perspektive auf die Vorhersage und..."
    },
    {
      "title": "Literaturübersicht",
      "node_id": "0001",
      "start_index": 3,
      "end_index": 3,
      "summary": "Das Teildokument präsentiert eine Literaturübersicht ...",
      "text": "Cyberpunk 2077 im breiteren Kontext ...",
      "nodes": [
        // ... Unterknoten
      ]
    }
    // ... verbleibende Knoten
  ]
}

Konfiguration und lokale Einrichtung

Installation: liteLLM==1.82.0 (neuere Versionen sind anfällig). Nicht pip install pageindex verwenden – das ist für die API.

Notebooks: MinimalPageindexLocalPDF.ipynb, MinimalPageindexLocalMD.ipynb.

Änderungen an utils.py: OLLAMA_HOST, OLLAMA_TIMEOUT.

page_index.py: ACCURACY_THRESHOLD, MAX_TOKENS.

Prozess:

• Dokument laden (PDF/MD).
• LLM erstellt Inhaltsverzeichnis (find_toc_pages).
• Segmentierung in Seiten/Zeilen.
• Aufbau der Knotenbaumstruktur mit Zusammenfassungen.
• Genauigkeitskorrektur.
• Suche: LLM wählt Knoten nach Anfrage aus → Seitenextraktion → finale RAG.

PageIndex integriert LLM in die Abfrage für nachvollziehbare Suche mit Seiten-/Abschnittsreferenzen. Geeignet für komplexe Dokumente, aber ressourcenintensiv für den Produktionseinsatz.

Wichtige Erkenntnisse

• Skalierung: Keine fertige Lösung für große Sammlungen ohne Vektorsuche.
• Genauigkeit: Modellabhängig; lokal (qwen3:14b) erreicht 69 %, aber mit Fehlern.
• Kosten: +8–9 % Genauigkeit für x10–xN Ressourcen im Vergleich zu Vektor-RAG.
• Formate: PDF mit automatischer Überschrifterkennung; MD über Markdown-Struktur.
• Anpassungen: Umgebungsvariablen für Schwellenwerte und Tokens auf schwächerer Hardware erforderlich.

— Editorial Team