Grafowy model dokumentów zamiast wektorowego RAG: doświadczenia z dokumentacją normatywną
Standardowy RAG — dzielenie tekstu na fragmenty, wektoryzacja i wyszukiwanie — zawodzi w przypadku dokumentów normatywnych. Wyszukiwanie semantyczne znajduje odpowiedni punkt, ale ignoruje powiązane podpunkty, uwagi lub odnośniki krzyżowe. Rezultat: niepełne odpowiedzi, w których model buduje wnioski na podstawie wyizolowanego fragmentu, tracąc obowiązkowy kontekst.
Dla pytań dotyczących łańcucha norm retrieval przynosi szum lub pomija kluczowe elementy. Problem nie leży w LLM, ale w płaskiej reprezentacji dokumentów, gdzie minimalna jednostka przechowywania nie pokrywa się z jednostką znaczeniową.
Strukturalny model: od tekstu do hierarchii węzłów
Dokumenty modeluje się jako drzewo adresowalnych elementów:
- Węzeł główny — cały dokument.
- Działy, punkty, podpunkty.
- Tabele i wzory jako osobne węzły.
- Połączenia między węzłami.
- Osobna warstwa terminów z definicjami.
Indeksacja przebiega według znormalizowanej struktury, a nie surowych fragmentów po parsowaniu. To zachowuje hierarchię i pozwala precyzyjnie odwoływać się do elementów.
Grupowanie kontekstu: dlaczego jeden węzeł to za mało
Atomowe węzły (jeden punkt) tracą lokalny kontekst. Dla pytania „minimalne wyjścia ewakuacyjne” potrzebny jest nie tylko główny punkt, ale:
- Sąsiednie podpunkty tego samego poziomu.
- Uwagi.
- Powiązane tabele.
- Odnośniki krzyżowe do innych działów lub dokumentów.
Grupowanie odbywa się według wspólnego rodzica i poziomu zagnieżdżenia, z limitem rozmiaru. Nie ma uniwersalnego rozmiaru fragmentu: małe grupy — utrata sensu, duże — szum w retrieval. Grupowanie strukturalne zwiększa stabilność odpowiedzi, włączając bloki znaczeniowe do indeksu.
Wielomodalny retrieval: poza wyszukiwaniem wektorowym
Wyszukiwanie semantyczne sprawdza się w przypadku swobodnych zapytań, ale dokumentacja normatywna wymaga precyzji:
- Punktowe wyszukiwanie według numeru punktu (6.2.2).
- Wyszukiwanie tabel (tabela 7.1).
- Wyszukiwanie leksykalne i hybrydowe.
- Warstwa terminologiczna.
- Wyszukiwanie według odnośników krzyżowych.
Jedno zapytanie uruchamia kilka strategii równolegle: punktowe według punktu + słowa kluczowe + terminy. Wyniki są łączone w konstruktorze kontekstu przez agenta wyszukiwania.
Warstwa terminologiczna dla synonimii
Użytkownik i dokument używają różnych sformułowań: oficjalne terminy, skróty, rozproszone definicje. Terminy wydziela się osobno:
- Ekstrakcja z dokumentu.
- Przypisanie definicji.
- Osobna indeksacja.
- Wykorzystanie jako dodatkowy sygnał w retrieval.
To wiąże zapytania dotyczące pojęć z odpowiednimi fragmentami, zwiększając recall.
Graf powiązań: obowiązkowy kontekst
Hierarchia nie gwarantuje przyciągnięcia powiązanych norm. Graf dodaje typowane relacje:
mandatory— obowiązkowy towarzysz węzła.cross— odnośnik krzyżowy.- Dokument ↔ węzeł.
- Węzeł ↔ tabela.
- Między dokumentami.
Przy trafnym wyniku retrieval przymusowo dodaje powiązane węzły, nawet jeśli nie są w top-k według semantyki. To zapobiega niepełnym odpowiedziom.
Praktyczne ulepszenia systemu
Grafowy model sprawia, że odpowiedzi są stabilne:
- Dokładne odwołania do punktów z kontekstem.
- Praca z tabelami bez utraty opisu.
- Rozróżnianie terminów i podobnych fraz.
- Łańcuchy norm zamiast izolowanych fragmentów.
System przestaje być czatem — staje się narzędziem do weryfikowalnych odpowiedzi.
Co jest ważne:
- Dokumenty — nie płaski tekst, ale adresowalna hierarchia z grafem powiązań.
- Retrieval wielowarstwowy: vector + punktowy + terminy + powiązania.
- Grupowanie według struktury, a nie tokenów, dla zachowania kontekstu.
- Obowiązkowe powiązania wyrażone jawnie w danych.
- Jedno pytanie — kilka wyszukiwań z kompozycją wyników.
Wnioski dla złożonych domen
Jakość RAG w dokumentacji normatywnej zależy od danych, a nie modelu. Kluczowe wnioski:
- Strukturyzuj dokumenty jako graf węzłów.
- Chunking według hierarchii, z adaptacyjnym rozmiarem.
- Komponuj strategie retrieval.
- Wydzielaj terminy i mandatory-powiązania.
To skalowalne na inne domeny o sztywnej strukturze: kod, specyfikacje, kontrakty.
— Editorial Team
Brak komentarzy.