Echoes of AI: KI verschlechtert nicht die Code-Wartbarkeit

# Echoes of AI-Studie: Wartbarkeit von mit KI-Assistenten generiertem Code entspricht der traditionellen

Die „Echoes of AI“-Studie zeigt, dass Code, der mit KI-Assistenten wie Copilot oder Cursor generiert wurde, die Wartbarkeit nicht verschlechtert. In einem randomisierten kontrollierten Experiment mit 151 Entwicklern wurde Code aus der KI-Gruppe 13 % schneller bearbeitet, mit vergleichbarem CodeHealth und Testabdeckung. Bei erfahrenen Nutzern war die Qualität des KI-Codes sogar höher.

Experimentaufbau

Das Experiment war in zwei Phasen unterteilt. In der ersten verfeinerten 151 Teilnehmer (95 % praktizierende Entwickler) eine Java/Spring Boot-App namens RecipeFinder (~2000 Zeilen mit Code-Gerüchen und Fehlern). Aufgabe: Hinzufügen einer Filterung von Rezepten nach Garzeit.

Die Teilnehmer wurden in Gruppen eingeteilt:

• KI-Entwickler: nutzten KI-Assistenten (Copilot, ChatGPT, Cursor).
• !KI-Entwickler: keine KI.

Schichtverteilung nach Erfahrung. Geografie: global, Demografie ausgeglichen.

In der zweiten Phase erweiterten 75 neue Entwickler (ohne KI) Code aus Phase 1 – Hinzufügen einer Filterung nach Portionskosten. Die Teilnehmer kannten den Ursprung des Codes nicht. Erfolg geprüft über Acceptance-Tests in GitHub Actions.

Wartbarkeitsmetriken:

| Metrik | Werkzeug | Beschreibung |

|---------|------------|----------|

| Bearbeitungszeit | Selbstbericht + CI | Zeit für Phase-2-Aufgabe |

| CodeHealth (CH) | CodeScene | Aggregat aus 25+ Faktoren (Verschachtelung, God Classes, Duplikate, bumpy road; Skala 1–10) |

| Testabdeckung (TC) | JaCoCo | Zeilenabdeckung durch Tests |

| Erlebte Produktivität (PP) | SPACE-Umfrage | Subjektive Bewertung (Likert-Skala) |

Analyse: frequentistisch (Wilcoxon, t-Test, Bootstrap) + bayessch (lineare/logistische Regression).

Ergebnisse Phase 1: Entwicklungsbeschleunigung

KI beschleunigte die Aufgabe:

• Alle KI-Entwickler: Median +30,7 %.
• Gewohnheits-KI-Nutzer: Durchschnitt +55,9 %.

Aufgaben wirkten realistisch (Median 4/5 Ähnlichkeit zu Produktion).

Ergebnisse Phase 2: Code-Wartbarkeit

KI-Code entsprach dem traditionellen:

| Metrik | KI vs. !KI-Unterschied | Signifikanz |

|---------|-------------------|------------|

| Bearbeitungszeit | +13 % schneller | Nicht signifikant (moderate bayessche Evidenz) |

| CodeHealth | +0,3 Punkte | Nicht signifikant insgesamt, signifikant für Gewohnheitsnutzer (+ moderate bayessche) |

| Testabdeckung | Kein Unterschied | Nicht signifikant |

| Erlebte Produktivität | Kein Unterschied | Moderate bayessche positiv |

Code von Gewohnheits-KI-Nutzern hatte besseres CodeHealth. KI erzeugt idiomatischen, vorhersagbaren Code – das steigert die Wartbarkeit.

Risiken: Code-Bloat und kognitive Schulden

Metriken übersehen:

• Code-Bloat: KI erleichtert Generierung, Risiko übermäßigen Volumens → Komplexität.
• Kognitive Schulden: reduzierte tiefe Code-Verständnis, Fertigkeitsatrophie, Gell-Mann-Amnesie-Effekt (weniger Kritik an schwachen Sprachen).

Verbindungen zu DORA und Praktiken

DORA 2025: KI verstärkt Praktiken. Gewinnende Teams haben:

• Kleine Batches.
• Schnelle Iterationen (Tests, Reviews, Refactoring).
• Modulare Architekturen.
• End-to-End-Fokus.
• Autonomie.

90 % nutzen KI täglich, 80 % sehen Produktivitätsgewinne, aber Stabilität sinkt ohne Praktiken.

Wichtige Erkenntnisse

• KI-Code ist nicht schlechter zu warten als traditioneller, manchmal besser (Gewohnheitsnutzer).
• Phase-1-Beschleunigung: 30–55 %, Phase 2: ~13 %.
• CodeHealth korreliert mit Geschäftsmetriken (2× Iterationen, 15× weniger Defekte).
• Risiken: Bloat und kognitive Schulden erfordern Disziplin.
• KI stärkt starke Teams (DORA).

— Editorial Team