Engineering-Standards für KI-Agenten: Von Regeln zur Disziplin in der Entwicklung
Eineinhalb Jahre Entwicklung ohne Hand-Coding haben die Grenzen einfacher Anweisungen in Dateien wie CLAUDE.md offengelegt. Agenten wie Claude Code und Cursor bewältigen Aufgaben, ignorieren aber den Projektkontext, erfinden Logik und überspringen Randfälle. Der erfahrene IT-Leiter Andrey Yumachev wechselte von Einmal-Prompts zu einem systematischen Prozess: formale Spezifikationen, Fehlerspeicher und der SENAR-Standard mit dem TAUSIK-Framework. Das steigerte die FPSR (First-Pass Success Rate) von 40 % auf 75–80 % bei server-seitigen Tasks.
Probleme aus der Praxis
Einfache Projekte laufen mit einer Regeldatei: Code-Stil, genehmigte Bibliotheken, Fokus-Bereiche. Komplexe Aufgaben treiben Agenten jedoch an ihre Grenzen.
Unerlaubte Änderungen
Ein Agent refaktoriert ein Modul für eine Aufgabe und passt eine Utility-Bibliothek an, die in sieben Modulen verwendet wird. Tests laufen durch, aber drei Module brechen am nächsten Tag. Der Agent verhält sich wie ein übereifriger Junior-Entwickler: extrahiert Duplikate ohne Genehmigung.
API-Raterei
Integration eines externen Services: Der Agent erzeugt Request-Code, Retry-Logik (1 s, 2 s, 4 s) und Response-Parsing. Zwei von fünf Requests scheitern – die Docs sind veraltet, also füllt der Agent Lücken plausibel, aber falsch. Keine manuellen Checks via curl oder Postman mit Code-Kommentaren.
Testlücken
Passwort-Reset: Tests laufen grün durch, aber es gibt eine OWASP-Schwachstelle – unterschiedliche Responses für existierende/nicht-existierende E-Mails ermöglichen Enumeration. Der Agent hat keinen Test hinzugefügt, ohne explizite Specs.
Anweisungen sind Vorschläge, keine harten Limits. Kein Durchsetzungsmechanismus.
Prozessentwicklung: Von Specs zu Speicher
Formalisierung von Anforderungen
Jede Aufgabe: Ziel, Akzeptanzkriterien, In-/Out-of-Scope-Dateien, negative Szenarien (leere Felder, ungültige IDs). FPSR verdoppelt sich. Specs bremsen Raterei – der Agent hält sich an explizite Regeln.
Beispiel formalisierte Spec:
- Ziel: Passwort-Reset implementieren.
- Kriterien: Identische Response (und Timing) für jede E-Mail; Tests für existierend/nicht-existierend.
- In Scope: auth.py, tests/test_reset.py.
- Out of Scope: UI.
Sortula: Projekt mit Fehlerspeicher
Ein Lesezeichen-Dienst mit semantischer Suche (LLM extrahiert Thesen in DB). Der Agent bricht den Build dreimal bei einer Bibliothek – kein Gedächtnis vergangener Fehlschläge.
Lösung: Fehlerspeicher-Log-Datei.
- Bibliothek X: Build scheitert auf Server Y (fehlende Dep Z).
- Alternative: W, funktioniert mit Config-Flag.
- Datum: YYYY-MM-DD.
In 6 Wochen: 40 Einträge, spart 15+ Min. pro Task. Log fließt in CLAUDE.md als Präambel ein.
SENAR-Standard und TAUSIK-Framework
SENAR ist ein Engineering-Standard für KI-Entwicklung: Spezifikation, Durchsetzung, Speicher, Audit. TAUSIK ist das Implementierungs-Framework.
SENAR-Komponenten:
- Spezifikation: YAML/JSON-Specs mit Kriterien, Scope, Negativen.
- Durchsetzung: Pre-Commit-Hooks prüfen Compliance (Linting, keine Out-of-Scope-Änderungen).
- Speicher: Sortula-Style-Log + Agentenspeicher (Claude Context Window).
- Audit: Menschliche Review-Checkpoints bei Meilensteinen.
- Rollback: Git-Workflows mit Feature Branches.
TAUSIK automatisiert: erzeugt Spec-Templates, injiziert Logs in Prompts, erzwingt via Scripts.
Metriken und ehrliche Benchmarks
FPSR: Anteil der Tasks, die beim ersten Versuch gelöst werden. Frühe Schätzungen aus Historie, später aus Logs.
| Phase | Server-FPSR | Frontend-FPSR | Hinweise |
|-------|-------------|---------------|----------|
| Nur Regeln | 40 % | 30 % | Basislinie |
| + Specs | 75 % | 60 % | Bekanntes Domain |
| + SENAR | 85 %+ | 70 %+ | Full Stack |
Zahlen sind subjektiv, domainabhängig. FPSR sinkt um 20 % in unbekannten Bereichen.
Schlüssel-Erkenntnisse:
- KI-Agenten sind Ausführer, keine Ingenieure: brauchen disziplinierte Specs und Durchsetzung.
- Fehlerspeicher ist entscheidend: spart 15–30 Min./Task.
- FPSR >80 % erreichbar bei bekannten Stacks mit SENAR.
- Menschen im Loop: Architektur, Reviews, Entscheidungen.
- 30+ Projekte: von PoC bis Produktion.
— Editorial Team
Noch keine Kommentare.