# Por qué el prompting zero-shot falla al extraer requisitos de textos legales
El prompting zero-shot en modelos de lenguaje grandes (LLM) para extraer requisitos de normativas legales genera una falsa impresión de un producto terminado. El modelo genera una lista estructurada de frases como «el sistema debe», pero estas no son requisitos reales: son solo reglas parafraseadas. Este enfoque pasa por alto la naturaleza multi-etapa del análisis: desde identificar roles y condiciones hasta rastrear las fuentes.
La tarea requiere desglosarla en etapas: detectar sujetos, clasificar reglas, verificar completitud. Un solo prompt ignora las sutilezas del lenguaje legal: voz pasiva, excepciones, referencias cruzadas.
Por qué los textos legales no son especificaciones técnicas
Las normativas delinean un panorama legal, no un sistema específico. Contienen cuatro capas de información:
- Definiciones de objetos y estados (p. ej., firmas electrónicas simples como códigos o contraseñas según la Ley Federal 63-FZ);
- Reglas para acciones de participantes;
- Condiciones, límites, excepciones;
- Consecuencias y referencias a otras reglas.
El zero-shot difumina estas distinciones, tratando todo como funciones. La salida parece lista para ingeniería, pero no está ligada a tu proyecto: no queda claro quién hace qué, dónde se implementa o bajo qué condiciones.
Para desarrolladores intermedios y senior, es clave entenderlo: sin descomposición, los LLM mezclan definiciones con restricciones, convirtiendo frases pasivas («el acceso debe restringirse») en interpretaciones no verificables.
Errores comunes del zero-shot en extracción legal
El modelo ignora el contexto del proyecto. Los fallos clave incluyen:
- Falta de selección de sujeto: Agrupa reglas para todos los roles (usuario, operador, autoridad) en una lista, ignorando el foco de tu sistema.
- Mezcla de tipos de reglas: Las definiciones se convierten en requisitos; los límites en funciones.
- Voz pasiva sin actor: «La información debe proporcionarse» no especifica quién inicia, verifica o registra.
- Fraseo genérico 'El sistema debe': Omite manejo de datos, auditorías, modelos de roles, dependencias externas.
- Sin análisis de brechas: No detecta reglas omitidas, excepciones o roles.
- Rastreabilidad débil: Citar un artículo no explica cómo un fragmento se convierte en requisito.
- Ignora impacto multi-sistema: Una normativa genera apps cliente, backends, módulos de auditoría: el modelo no diferencia.
Prueba de calidad: ¿Puedes responder «quién, qué, dónde en el sistema»? ¿No? Es materia prima, no requisitos.
Desafíos de los textos legales para los LLM
Extraer información de documentos legales es difícil por contextos largos, jerga y estructuras dispersas. Revisiones de OpenAI y Anthropic recomiendan chain-of-thought, criterios de calidad y análisis paso a paso en lugar de zero-shot para estas tareas.
Los errores son costosos: un control omitido implica arquitectura defectuosa y riesgos legales.
Cuándo el zero-shot sí funciona
Límitalo a exploración inicial:
- Resumen rápido del documento;
- Mapa aproximado de entidades;
- Hipótesis de escenarios;
- Familiarización con el dominio.
Luego itera: refina prompts, verifica, rastrea.
Lecciones clave:
- El zero-shot da un borrador plausible, no requisitos: descompón la tarea.
- Siempre fija sujeto, condiciones, tipo de regla para rastreabilidad.
- Verifica completitud: ¿qué falta, qué excepciones se ignoran?
- Para legal tech, usa chain-of-thought y prompting multi-etapa.
- Una normativa = múltiples sistemas: define límites de automatización desde el inicio.
En CI/CD: Integra LLM con validación (comparaciones de benchmarks, revisión experta) para reducir riesgos de cumplimiento.
— Editorial Team
Aún no hay comentarios.