Estándares de Ingeniería para Agentes de IA: De Reglas a Disciplina en el Desarrollo
Un año y medio de desarrollo sin codificar a mano reveló los límites de instrucciones simples en archivos como CLAUDE.md. Agentes como Claude Code y Cursor manejan tareas, pero ignoran el contexto del proyecto, inventan lógica y omiten casos límite. El autor, líder experimentado en TI Andrey Yumachev, pasó de prompts puntuales a un proceso sistemático: especificaciones formales, memoria de fallos y el estándar SENAR con el marco TAUSIK. Esto elevó la FPSR (Tasa de Éxito en Primer Intento) del 40% al 75–80% en tareas del lado del servidor.
Problemas Detectados en la Práctica
Proyectos simples funcionan con un archivo de reglas: estilo de código, bibliotecas aprobadas, áreas de enfoque. Pero las tareas complejas empujan a los agentes más allá de los límites.
Cambios No Autorizados
Un agente refactoriza un módulo para una tarea y modifica una biblioteca de utilidades usada en siete módulos. Las pruebas pasan, pero tres módulos fallan al día siguiente. El agente actúa como un desarrollador junior demasiado entusiasta: extrae duplicados sin aprobación.
Adivinando APIs
Integrando un servicio externo: el agente genera código de solicitudes, lógica de reintentos (1s, 2s, 4s) y análisis de respuestas. Dos de cinco solicitudes fallan —la documentación está desactualizada, así que el agente rellena huecos de forma plausible pero errónea. Sin verificaciones manuales vía curl o Postman con comentarios en el código.
Lagunas en Pruebas
Restablecimiento de contraseña: las pruebas pasan en verde, pero hay una vulnerabilidad OWASP —respuestas diferentes para correos existentes/inexistentes permiten enumeración. El agente no añadió la prueba sin especificaciones explícitas.
Las instrucciones son sugerencias, no límites estrictos. Sin mecanismos de cumplimiento.
Evolución del Proceso: De Especificaciones a Memoria
Formalizando Requisitos
Cada tarea: objetivo, criterios de aceptación, archivos en/fuera de alcance, escenarios negativos (campos vacíos, IDs inválidos). La FPSR se duplicó. Las especificaciones frenan las suposiciones —el agente se ciñe a reglas explícitas.
Ejemplo de Especificación Formalizada:
- Objetivo: Implementar restablecimiento de contraseña.
- Criterios: Respuesta idéntica (y tiempo) para cualquier correo; pruebas para existentes/inexistentes.
- En alcance: auth.py, tests/test_reset.py.
- Fuera de alcance: Interfaz de usuario.
Sortula: Un Proyecto con Memoria de Fallos
Un servicio para guardar enlaces con búsqueda semántica (LLM extrae tesis a BD). El agente rompe la compilación tres veces con una biblioteca —sin memoria de fallos previos.
Solución: Archivo de registro de fallos.
- Biblioteca X: Fallo de compilación en servidor Y (dependencia Z faltante).
- Alternativa: W, funciona con bandera de config.
- Fecha: YYYY-MM-DD.
En 6 semanas: 40 entradas, ahorrando 15+ min por tarea. El registro se inyecta en CLAUDE.md como preámbulo.
Estándar SENAR y Marco TAUSIK
SENAR es un estándar de ingeniería para desarrollo con IA: especificación, cumplimiento, memoria, auditoría. TAUSIK es el marco de implementación.
Componentes de SENAR:
- Especificación: Especs en YAML/JSON con criterios, alcance, negativos.
- Cumplimiento: Hooks pre-commit verifican conformidad (linting, sin cambios fuera de alcance).
- Memoria: Registro estilo Sortula + memoria del agente (ventana de contexto de Claude).
- Auditoría: Puntos de revisión humana en hitos.
- Rollback: Flujos Git con branches de características.
TAUSIK automatiza: genera plantillas de especs, inyecta registros en prompts, fuerza cumplimiento vía scripts.
Métricas y Benchmarks Honestos
FPSR: Porcentaje de tareas resueltas al primer intento. Estimaciones iniciales de historial, luego de registros.
| Etapa | FPSR Servidor | FPSR Frontend | Notas |
|-------|---------------|---------------|-------|
| Solo reglas | 40% | 30% | Base |
| +Especs | 75% | 60% | Dominio familiar |
| +SENAR | 85%+ | 70%+ | Stack completo |
Los números son subjetivos, dependen del dominio. FPSR cae 20% en áreas desconocidas.
Lecciones Clave:
- Los agentes de IA son ejecutores, no ingenieros: necesitan especs disciplinadas y cumplimiento.
- La memoria de fallos es crucial: ahorra 15–30 min/tarea.
- FPSR >80% alcanzable en stacks familiares con SENAR.
- Humanos en el bucle: arquitectura, revisiones, decisiones.
- 30+ proyectos: de PoC a producción.
— Editorial Team
Aún no hay comentarios.