Zero Shot Fehler beim Extrahieren von Anforderungen aus NPA

Warum Zero-Shot-Prompting bei der Anforderungsextraktion aus Rechtsvorschriften scheitert

Zero-Shot-Prompting bei Large Language Models (LLMs) zur Extraktion von Anforderungen aus gesetzlichen Vorschriften erzeugt einen trügerischen Eindruck eines fertigen Produkts. Das Modell spuckt eine strukturierte Liste von Phrasen wie „das System muss“ aus, aber das sind keine echten Anforderungen – sondern nur umformulierte Regeln. Dieser Ansatz ignoriert die mehrstufige Natur der Analyse: von der Identifikation von Rollen und Bedingungen bis hin zur Rückverfolgung zu den Quellen.

Die Aufgabe erfordert eine Zerlegung in Etappen – Subjekte erkennen, Regeln klassifizieren, Vollständigkeit prüfen. Ein einziger Prompt verpasst die Feinheiten der juristischen Sprache: Passivkonstruktionen, Ausnahmen, Querverweise.

Warum Rechtsvorschriften keine technischen Spezifikationen sind

Vorschriften skizzieren eine Rechtslandschaft, keine konkrete Systemimplementierung. Sie enthalten vier Informationsschichten:

• Definitionen von Objekten und Status (z. B. einfache elektronische Signaturen als Codes oder Passwörter nach Bundesgesetz 63-FZ);
• Regeln für Handlungen der Beteiligten;
• Bedingungen, Grenzen, Ausnahmen;
• Konsequenzen und Verweise auf andere Regeln.

Zero-Shot verwischt diese Unterschiede und behandelt alles als Funktionen. Das Ergebnis wirkt wie für die Entwicklung geeignet, ist aber nicht auf Ihr Projekt abgestimmt: Es bleibt unklar, wer was wo umsetzt und unter welchen Bedingungen.

Für Entwickler auf Mittel- bis Senior-Niveau ist das entscheidend: Ohne Zerlegung vermischen LLMs Definitionen mit Einschränkungen und wandeln passive Formulierungen („der Zugriff muss eingeschränkt werden“) in unüberprüfbare Interpretationen um.

Häufige Fallstricke von Zero-Shot bei der Rechtsanalyse

Das Modell ignoriert den Projektkontext. Typische Fehler:

• Kein Subjektfilter: Regeln für alle Rollen (Nutzer, Betreiber, Behörde) landen in einer Liste, ohne Fokus auf Ihr System.
• Vermischung von Regeltypen: Definitionen werden zu Anforderungen; Grenzen zu Features.
• Passiv ohne Akteur: „Informationen müssen bereitgestellt werden“ spezifiziert nicht, wer einleitet, prüft oder protokolliert.
• Pauschale ‚System-muss‘-Formulierungen: Übersieht Datenverarbeitung, Audits, Rollermodelle, externe Abhängigkeiten.
• Keine Lückenanalyse: Verpasste Regeln, Ausnahmen oder Rollen bleiben unentdeckt.
• Schwache Nachverfolgbarkeit: Ein Verweis auf einen Paragraphen erklärt nicht, wie ein Textausschnitt zur Anforderung wird.
• Ignoranz multipler Systeme: Eine Vorschrift betrifft Client-Apps, Backends, Audit-Module – das Modell differenziert nicht.

Qualitätscheck: Können Sie „wer, was, wo im System?“ beantworten? Nein? Dann ist es Rohmaterial, keine Anforderungen.

Herausforderungen juristischer Texte für LLMs

Die Extraktion aus Rechtsdokumenten ist schwierig wegen langer Kontexte, Fachjargon und verteilter Strukturen. Bewertungen von OpenAI und Anthropic empfehlen Chain-of-Thought, Qualitätskriterien und schrittweise Analyse statt Zero-Shot für solche Aufgaben.

Fehler sind teuer: Eine verpasste Prüfung führt zu fehlerhafter Architektur und Haftungsrisiken.

Wann Zero-Shot tatsächlich funktioniert

Beschränken Sie es auf erste Erkundung:

• Schnelle Dokumentenübersicht;
• Grobe Entitätenkarte;
• Szenario-Hypothesen;
• Fachgebiets-Einlesen.

Dann iterieren: Prompts verfeinern, prüfen, nachverfolgen.

Wichtige Erkenntnisse:

• Zero-Shot liefert einen plausiblen Entwurf, keine Anforderungen – zerlegen Sie die Aufgabe.
• Immer Subjekt, Bedingungen, Regeltyp fixieren für Nachverfolgbarkeit.
• Vollständigkeit prüfen: Was fehlt, welche Ausnahmen ignoriert?
• Für Legal Tech: Chain-of-Thought und mehrstufiges Prompting einsetzen.
• Eine Vorschrift = mehrere Systeme: Automatisierungsgrenzen vorab definieren.

In CI/CD: LLMs mit Validierung (Benchmark-Vergleiche, Expertenprüfung) kombinieren, um Konformitätsrisiken zu minimieren.

— Editorial Team