Błędy Zero Shot w ekstrakcji wymagań z NPA

Problemy z Zero Shot w ekstrakcji wymagań z aktów normatywnych

Prompting Zero Shot w modelach językowych (LLM) do ekstrakcji wymagań z normatywnych aktów prawnych (NAP) tworzy iluzję gotowego wyniku. Model generuje uporządkowaną listę fraz takich jak „system powinien”, ale to nie są wymagania, a przeformułowane normy. Takie podejście ignoruje wieloetapowość analizy: od rozpoznania ról i warunków do śledzenia źródeł.

Zadanie wymaga dekompozycji na etapy — określenie podmiotów, klasyfikację norm, sprawdzenie kompletności. Jedno zapytanie pomija niuanse języka prawniczego: stronę bierną, wyjątki, odesłania.

Dlaczego prawo ≠ specyfikacja techniczna

NAP opisują ramy prawne, a nie konkretny system. Zawierają cztery warstwy informacji:

• Definicje obiektów i statusów (np. prosty podpis elektroniczny jako kody lub hasła według ustawy 63-FZ);
• Zasady działań uczestników;
• Warunki, ograniczenia, wyjątki;
• Konsekwencje i odesłania do innych norm.

Zero Shot wygładza różnice, prezentując wszystko jako funkcje. Wynik wygląda inżyniersko, ale nie jest powiązany z projektem: niejasne jest, kto wykonuje działanie, gdzie jest realizowane, pod jakimi warunkami.

Dla middle/senior-developerów kluczowe jest zrozumienie: bez dekompozycji LLM miesza definicje z ograniczeniami, przekształcając konstrukcje bierne („dostęp powinien być ograniczony”) w nieudowodnione interpretacje.

Typowe wady Zero Shot w ekstrakcji prawniczej

Model nie uwzględnia kontekstu projektu. Główne błędy:

• Brak wyboru podmiotu: zbiera zasady dla wszystkich ról (użytkownik, operator, organ) w jedną listę, ignorując fokus systemu.
• Mieszanie typów norm: definicja staje się wymaganiem, ograniczenie — funkcją.
• Strona bierna bez agenta: „informacje muszą być dostarczone” nie precyzuje inicjatora, weryfikatora, rejestratora.
• Ujednolicenie do „system powinien”: pomija dane, audyty, modele ról, zależności zewnętrzne.
• Brak mapy strat: niewidoczne są pominięte normy, wyjątki, role.
• Słabe śledzenie: odesłanie do artykułu ≠ wyjaśnienie transformacji fragmentu w wymaganie.
• Ignorowanie mnogości systemów: jeden NAP generuje usługę kliencką, backend, moduł audytu — model nie rozróżnia.

Sprawdź jakość: odpowiedz na „kto, co, gdzie w systemie?”. Brak — to surowy materiał.

Specyfika tekstów prawnych dla LLM

Ekstrakcja informacji prawniczych jest utrudniona długim kontekstem, terminami, rozproszoną strukturą. Przeglądy (OpenAI, Anthropic) zalecają dla takich zadań chain-of-thought, kryteria jakości, analizę etapową zamiast Zero Shot.

Błędy są kosztowne: pominięta weryfikacja = błędna architektura, ryzyka prawne.

Kiedy Zero Shot działa

Ogranicz użycie do wstępnego rekonesansu:

• Szybki przegląd dokumentu;
• Szkicowa mapa encji;
• Hipoteza scenariuszy;
• Wstępne zrozumienie domeny.

Dalej — iteracje: doprecyzowanie prompta, weryfikacja, śledzenie.

Co ważne:

• Zero Shot daje wiarygodny szkic, ale nie wymagania — dekomponuj zadanie.
• Zawsze ustalaj podmiot, warunki, typ normy dla traceability.
• Sprawdź kompletność: co pominięto, jakie wyjątki zignorowano.
• Dla legal tech używaj chain-of-thought i multi-step prompting.
• Jeden NAP = różne systemy: określaj granice automatyzacji z góry.

Wdrożenie w CI/CD: zintegruj LLM z walidacją (porównanie z wzorcem, ekspercki przegląd). To minimalizuje ryzyka w projektach z compliance.

— Editorial Team