Echoes of AI: AI는 코드 유지보수성을 악화시키지 않습니다

## AI 연구 'Echoes of AI': AI 어시스턴트 생성 코드 유지보수성, 전통 코드와 동등

"Echoes of AI" 연구에 따르면 Copilot이나 Cursor 같은 AI 어시스턴트로 생성된 코드는 유지보수성이 저하되지 않습니다. 151명의 개발자를 대상으로 한 무작위 대조 실험에서 AI 그룹의 코드는 13% 더 빠르게 해결되었으며, CodeHealth와 테스트 커버리지도 비슷한 수준이었습니다. 경험이 풍부한 사용자에게는 AI 코드 품질이 더욱 높았습니다.

실험 설계

실험은 두 단계로 나뉘었습니다. 첫 번째 단계에서는 151명(95%가 실무 개발자)의 참가자들이 RecipeFinder라는 Java/Spring Boot 앱(~2000줄, 코드 냄새와 버그 포함)을 개선했습니다. 과제: 요리 시간으로 레시피 필터링 기능 추가.

참가자들은 그룹으로 나뉘었습니다:

• AI 개발자: AI 어시스턴트(Copilot, ChatGPT, Cursor) 사용.
• 비AI 개발자: AI 미사용.

경험에 따라 층화 배분. 지리: 전 세계, 인구통계 균형.

두 번째 단계에서는 75명의 새로운 개발자(비AI)가 1단계 코드를 확장했습니다—인분 비용으로 필터링 추가. 참가자들은 코드 출처를 알지 못했습니다. 성공 여부는 GitHub Actions의 수락 테스트로 확인.

유지보수성 지표:

| Metric | Tool | Description |

|---------|------------|----------|

| Completion Time | Self-reported + CI | Phase 2 task time |

| CodeHealth (CH) | CodeScene | Aggregate of 25+ factors (nesting, God Classes, duplicates, bumpy road; scale 1–10) |

| Test Coverage (TC) | JaCoCo | Line coverage by tests |

| Perceived Productivity (PP) | SPACE survey | Subjective rating (Likert scale) |

분석: 빈도주의(Wilcoxon, t-test, bootstrap) + 베이지안(선형/로지스틱 회귀).

1단계 결과: 개발 가속화

AI가 과제를 가속화했습니다:

• 모든 AI 개발자: 중앙값 +30.7%.
• 습관적 AI 사용자: 평균 +55.9%.

과제는 현실적이라고 느껴졌습니다(중앙값 생산과 4/5 유사도).

2단계 결과: 코드 유지보수성

AI 코드는 전통 코드와 동등:

| Metric | AI vs !AI Difference | Significance |

|---------|-------------------|------------|

| Completion Time | +13% faster | 유의미하지 않음 (중간 베이지안 증거) |

| CodeHealth | +0.3 points | 전체적으로 유의미하지 않음, 습관적 사용자에게 유의미 (+ 중간 베이지안) |

| Test Coverage | No difference | 유의미하지 않음 |

| Perceived Productivity | No difference | 중간 베이지안 긍정 |

습관적 AI 사용자의 코드는 CodeHealth가 더 좋았습니다. AI는 관용적이고 예측 가능한 코드를 생성합니다—이는 유지보수성을 높입니다.

위험: 코드 팽창과 인지 부채

지표가 놓친 점:

• 코드 팽창: AI가 생성을 쉽게 해 과도한 양 → 복잡성 위험.
• 인지 부채: 깊은 코드 이해 감소, 기술 퇴화, Gell-Mann amnesia 효과(약한 언어에 대한 비판 감소).

DORA 및 관행과의 연계

DORA 2025: AI가 관행을 증폭. 우승 팀은 다음을 가짐:

• 작은 배치.
• 빠른 반복(테스트, 리뷰, 리팩토링).
• 모듈러 아키텍처.
• 엔드투엔드 초점.
• 자율성.

90%가 AI를 매일 사용, 80%가 생산성 향상 보지만 관행 없이는 안정성 하락.

주요 결론

• AI 코드는 전통 코드보다 유지보수성이 나쁘지 않으며, 때로는 더 좋음(습관적 사용자).
• 1단계 가속: 30–55%, 2단계: ~13%.
• CodeHealth는 비즈니스 지표와 상관(반복 2배, 결함 15배 적음).
• 위험: 팽창과 인지 부채에 대한 규율 필요.
• AI는 강한 팀을 강화(DORA).

— Editorial Team