返回首页

从 NPA 提取需求时的 Zero Shot 错误

本文分析了 Zero Shot prompting 在从规范性法律文件提取系统需求时的问题。描述了 7 个关键错误,为法律科技提供分解和 chain-of-thought 的建议。对中高级开发者有用。

Zero Shot 在法律上失败:7 个错误
Advertisement 728x90

# 为什么零样本提示无法从法律文本中提取需求

大型语言模型(LLM)中使用零样本提示从法律法规中提取需求,会给人一种任务已完成的错觉。模型输出结构化的短语列表,如“系统必须”,但这些并非真正需求——只是规则的改写。这种方法忽略了分析的多步骤本质:从识别角色和条件,到追溯来源。

这项任务需要分解成阶段——识别主体、分类规则、检查完整性。单一提示无法捕捉法律语言的细微之处:被动语态、例外条款、交叉引用。

为什么法律文本不是技术规格

法规描绘的是法律环境,而不是特定系统。它们包含四层信息:

Google AdInline article slot
  • 对象和状态定义(例如,联邦法63-FZ将简单电子签名视为代码或密码);
  • 参与者行为规则;
  • 条件、限制、例外;
  • 后果及其他规则引用。

零样本提示模糊了这些区别,将一切视为功能。输出看似工程化,但与你的项目无关:不清楚谁做什么、在哪里实现、什么条件下生效。

对于中高级开发者,这点至关重要:不分解任务,LLM 会将定义与约束混淆,将被动短语(如“访问必须受限”)变成无法验证的解读。

零样本提示在法律提取中的常见陷阱

模型忽略项目上下文。主要错误包括:

Google AdInline article slot
  • 无主体选择:将所有角色(用户、运营商、监管机构)的规则混为一谈,忽略系统焦点。
  • 规则类型混淆:定义变成需求;限制变成功能。
  • 被动语态无执行者:“信息必须提供”未指定谁发起、验证或记录。
  • 泛化‘系统必须’表述:忽略数据处理、审计、角色模型、外部依赖。
  • 无缺口分析:无法发现遗漏规则、例外或角色。
  • 追溯性弱:引用条款不等于解释片段如何转为需求。
  • 忽略多系统影响:一条法规可能涉及客户端、后端、审计模块——模型无法区分。

测试质量:能否回答“谁、在系统何处做什么?”不能?那只是原材料,不是需求。

法律文本对LLM的挑战

从法律文档提取信息难度大,因上下文长、专业术语多、结构分散。OpenAI和Anthropic的评估建议,对于此类任务,使用思维链、质量标准和逐步分析,而非零样本。

错误代价高:遗漏检查导致架构缺陷和法律风险。

Google AdInline article slot

零样本提示何时有效

仅限于初步勘探:

  • 快速文档概览;
  • 粗略实体映射;
  • 场景假设;
  • 领域熟悉。

然后迭代:优化提示、验证、追溯。

关键要点:

  • 零样本提供可信草稿,不是需求——分解任务。
  • 始终锁定主体、条件、规则类型以确保追溯。
  • 检查完整性:遗漏什么?忽略哪些例外?
  • 法律科技领域,使用思维链和多步提示。
  • 一条法规=多系统:提前定义自动化边界。

在CI/CD中:将LLM与验证集成(基准对比、专家审查),降低合规风险。

— Editorial Team

Advertisement 728x90

继续阅读