Echoes of AI: AI nezhoršuje udržovatelnost kódu

Studie Echoes of AI: udržovatelnost kódu od AI asistentů na úrovni tradičního

Studie „Echoes of AI“ ukazuje, že kód generovaný pomocí AI asistentů jako Copilot nebo Cursor nezhorsuje udržovatelnost. V randomizovaném kontrolovaném experimentu s 151 vývojáři byl kód z AI skupiny dokončován o 13 % rychleji, vykazoval srovnatelný CodeHealth a pokrytí testy. Pro zkušené uživatele AI byla kvalita kódu dokonce vyšší.

Návrh experimentu

Experiment je rozdělen do dvou fází. V první fázi 151 účastníků (95 % – praktikující vývojáři) upravovali aplikaci Java/Spring Boot RecipeFinder (~2000 řádků s code smells a chybami). Úkol: přidat filtrování receptů podle času přípravy.

Účastníky rozdělili do skupin:

• AI-devs: používali AI asistenty (Copilot, ChatGPT, Cursor).
• !AI-devs: bez AI.

Rozdělení stratifikované podle zkušeností. Geografie: globální, demografie vyvážená.

Ve druhé fázi 75 nových vývojářů (bez AI) rozšiřovali kód z první fáze – přidávali filtrování podle ceny porce. Účastníci nevěděli o původu kódu. Úspěch ověřovali acceptance testy v GitHub Actions.

Metriky udržovatelnosti:

| Metrika | Nástroj | Popis |

|---------|------------|----------|

| Completion Time | Self-reported + CI | Čas na úkol ve fázi 2 |

| CodeHealth (CH) | CodeScene | Agregát z 25+ faktorů (vnořenost, God Classes, duplicity, bumpy road; škála 1–10) |

| Test Coverage (TC) | JaCoCo | Pokrytí řádků testy |

| Perceived Productivity (PP) | Dotazník SPACE | Subjektivní hodnocení (Likertova škála) |

Analýza: frekvenční (Wilcoxon, t-test, bootstrap) + bayesovská (lineární/logistická regrese).

Výsledky fáze 1: zrychlení vývoje

AI zrychlilo úkol:

• Všichni AI-devs: medián +30,7 %.
• Zvyklí uživatelé AI: průměr +55,9 %.

Úkoly byly vnímány jako realistické (medián 4/5 podle podobnosti s produkcí).

Výsledky fáze 2: podpora kódu

Kód od AI nezaostával za tradičním:

| Metrika | Rozdíl AI vs !AI | Významnost |

|---------|-------------------|------------|

| Completion Time | +13 % zrychlení | Ne významné (střední bayesovské důkazy) |

| CodeHealth | +0,3 bodu | Ne významné celkově, významné pro zvyklé (+ střední bayes.) |

| Test Coverage | Žádný rozdíl | Ne významné |

| Perceived Productivity | Žádný rozdíl | Střední bayesovské pozitivní |

Kód od zvyklých uživatelů AI měl lepší CodeHealth. AI generuje idiomatický, předvídatelný kód – plus pro udržovatelnost.

Rizika: code bloat a cognitive debt

Metriky nezachytávají:

• Code bloat: AI usnadňuje generování, riziko nadměrného objemu → složitost.
• Cognitive debt: snížení hlubokého porozumění kódu, atrofie dovedností, efekt amnézie Gell-Manna (méně kritiky slabých jazyků).

Souvislost s DORA a praktikami

DORA 2025: AI posiluje praktiky. Vyjedou týmy s:

• Malými batchi.
• Rychlými iteracemi (testy, revize, refaktoring).
• Modulárními architekturami.
• End-to-end orientací.
• Autonomií.

90 % používá AI denně, 80 % vidí růst produktivity, ale stabilita klesá bez praktik.

Co je důležité

• Kód od AI se udržuje ne horší než tradiční, někdy lépe (zvyklí uživatelé).
• Zrychlení fáze 1: 30–55 %, fáze 2: ~13 %.
• CodeHealth koreluje s business metrikami (2× iterací, 15× méně defektů).
• Rizika: bloat a cognitive debt vyžadují disciplínu.
• AI posiluje silné týmy (DORA).

— Editorial Team