Chyby Zero Shot při extrakci požadavků z NPA

Problémy Zero Shot při extrakci požadavků z právních předpisů

Zero Shot promptování v LLM pro extrakci požadavků z právních předpisů vytváří iluzi hotového výsledku. Model generuje strukturovaný seznam frází jako „systém musí“, ale nejde o požadavky, nýbrž o přeformulované normy. Tento přístup ignoruje víceúrovňovost analýzy: od rozpoznání rolí a podmínek až po trasování zdrojů.

Úkol vyžaduje dekompozici na etapy — určení subjektů, klasifikaci norem, kontrolu úplnosti. Jeden dotaz přehlíží nuance právního jazyka: pasivní rod, výjimky, odkazy.

Proč zákon ≠ technická specifikace

Právní předpisy popisují právní pole, nikoli konkrétní systém. Obsahují čtyři vrstvy informací:

• Definice objektů a statusů (např. jednoduchý elektronický podpis jako kódy nebo hesla dle zákona 63-FZ);
• Pravidla činností účastníků;
• Podmínky, omezení, výjimky;
• Následky a odkazy na jiné normy.

Zero Shot vyhlazuje rozdíly a vydává vše jako funkce. Výsledek vypadá inženýrsky, ale není vázán na projekt: není jasné, kdo provádí akci, kde se implementuje, za jakých podmínek.

Pro středně pokročilé a senior vývojáře je kritické pochopit: bez dekompozice LLM míchá definice s omezeními, přeměňujíc pasivní konstrukce („přístup musí být omezen“) na neověřitelné interpretace.

Typické defekty Zero Shot v legal extraction

Model nezohledňuje kontext projektu. Hlavní chyby:

• Absence výběru subjektu: sbírá pravidla pro všechny role (uživatel, operátor, orgán) do jednoho seznamu, ignoruje zaměření systému.
• Směšování typů norem: definice se stává požadavkem, omezení — funkcí.
• Pasivní rod bez agenta: „údaje musí být poskytnuty“ nespecifikuje iniciátora, kontrolora, záznamníka.
• Unifikace v „systém musí“: opomíjí data, audity, rolové modely, externí závislosti.
• Žádná mapa ztrát: nejsou vidět opomenuté normy, výjimky, role.
• Slabá traceability: odkaz na článek ≠ vysvětlení transformace fragmentu v požadavek.
• Ignorování plurality systémů: jeden právní předpis vytváří klientskou službu, backend, auditní modul — model nerozlišuje.

Otestujte kvalitu: odpovězte na „kdo, co, kde v systému?“. Ne — to je surový materiál.

Specifika právních textů pro LLM

Extrakce právních informací je komplikována dlouhým kontextem, termíny, distribuovanou strukturou. Přehledy (OpenAI, Anthropic) doporučují pro takové úkoly chain-of-thought, kritéria kvality, etapovou analýzu místo Zero Shot.

Chyby stojí draho: opomenutá kontrola = nesprávná architektura, právní rizika.

Kdy Zero Shot funguje

Omezte použití na počáteční průzkum:

• Rychlý přehled dokumentu;
• Hrubá mapa entit;
• Hypotéza scénářů;
• Počáteční pochopení domény.

Dále — iterace: upřesnění promptu, verifikace, traceability.

Co je důležité:

• Zero Shot poskytuje věrohodný koncept, ale ne požadavky — dekomponujte úlohu.
• Vždy zaznamenávejte subjekt, podmínky, typ normy pro traceability.
• Kontrolujte úplnost: co bylo opomenuto, jaké výjimky ignorovány.
• Pro legal tech používejte chain-of-thought a multi-step prompting.
• Jeden právní předpis = různé systémy: určujte hranice automatizace předem.

Implementace v CI/CD: integrujte LLM s validací (srovnání s referenčním, expertní revize). Toto minimalizuje rizika v projektech s compliance.

— Editorial Team