NPA 요구사항 추출 시 Zero Shot 오류

# 제로샷 프롬프팅이 법률 텍스트에서 요구사항 추출에 실패하는 이유

대형 언어 모델(LLM)에서 제로샷 프롬프팅을 사용해 법규에서 요구사항을 추출하면 완성된 결과물이라는 착각을 불러일으킵니다. 모델은 "시스템은 ~해야 한다" 같은 구조화된 구문 목록을 뱉어내지만, 이는 진짜 요구사항이 아닙니다—그저 규칙을 재구성한 것일 뿐입니다. 이 접근법은 분석의 다단계 본질을 간과합니다: 역할 식별, 조건 파악부터 출처 추적까지.

이 작업은 단계를 세분화해야 합니다—주체 파악, 규칙 분류, 완전성 검토 등. 단일 프롬프트는 법률 언어의 미묘함을 놓칩니다: 수동태, 예외, 상호 참조.

법률 텍스트가 기술 명세가 아닌 이유

법규는 특정 시스템이 아닌 법적 환경을 개략적으로 설명합니다. 여기에 4계층 정보가 포함됩니다:

• 객체와 상태 정의 (예: 연방법 63-FZ에서 간단 전자서명을 코드나 비밀번호로 규정);
• 참여자 행동 규칙;
• 조건, 제한, 예외;
• 결과 및 다른 규칙 참조.

제로샷은 이러한 구분을 모호하게 만들며, 모든 것을 기능으로 취급합니다. 출력은 엔지니어링에 바로 쓸 수 있을 것처럼 보이지만 프로젝트와 연결되지 않습니다: 누가 무엇을 어디서, 어떤 조건에서 하는지 불명확합니다.

중간~시니어 개발자에게 이는 핵심입니다: 분해 없이 LLM은 정의와 제약을 뒤섞어 수동 구문("접근은 제한되어야 한다")을 입증 불가능한 해석으로 바꿉니다.

법률 추출에서 제로샷의 흔한 함정

모델은 프로젝트 맥락을 무시합니다. 주요 오류는 다음과 같습니다:

• 주체 선택 없음: 사용자, 운영자, 당국 등 모든 역할 규칙을 하나의 목록으로 뭉쳐 시스템 초점을 무시.
• 규칙 유형 혼합: 정의가 요구사항으로, 제한이 기능으로 변함.
• 행위자 없는 수동태: "정보는 제공되어야 한다"는 누가 시작하고, 검증하고, 기록하는지 명시 안 함.
• 포괄적 '시스템은 ~해야' 표현: 데이터 처리, 감사, 역할 모델, 외부 의존성 놓침.
• 갭 분석 부재: 누락 규칙, 예외, 역할 발견 못 함.
• 추적성 약함: 조항 인용은 스니펫이 요구사항으로 되는 과정 설명 아님.
• 다중 시스템 영향 무시: 한 법규가 클라이언트 앱, 백엔드, 감사 모듈을 낳는데 모델은 구분 못 함.

품질 테스트: "누가, 무엇을, 시스템 어디서?" 답할 수 없나요? 원재료일 뿐, 요구사항 아님.

LLM에게 법률 텍스트가 어려운 이유

법률 문서에서 정보 추출은 긴 맥락, 전문 용어, 분산 구조로 어렵습니다. OpenAI와 Anthropic 리뷰는 제로샷 대신 체인 오브 소트, 품질 기준, 단계별 분석을 권장합니다.

오류는 비용이 큽니다: 누락 검토는 결함 아키텍처와 법적 위험 초래.

제로샷이 실제로 작동할 때

초기 정찰로 제한하세요:

• 문서 빠른 개요;
• 대략적 엔티티 맵;
• 시나리오 가설;
• 도메인 익숙해짐.

그 후 반복: 프롬프트 다듬기, 검증, 추적.

핵심 요약:

• 제로샷은 그럴듯한 초안일 뿐, 요구사항 아님—작업 분해하세요.
• 주체, 조건, 규칙 유형 항상 명확히 해 추적성 확보.
• 완전성 확인: 누락된 것, 무시된 예외는?
• 법률 테크에서는 체인 오브 소트와 다단계 프롬프팅 사용.
• 한 법규 = 여러 시스템: 자동화 경계 사전 정의.

CI/CD에서: 벤치마크 비교, 전문가 검토로 LLM 통합해 컴플라이언스 위험 줄이세요.

— Editorial Team