## Étude « Echoes of AI » : la maintenabilité du code généré par assistants IA égale celle du traditionnel
L'étude « Echoes of AI » montre que le code généré avec des assistants IA comme Copilot ou Cursor ne dégrade pas la maintenabilité. Dans une expérience contrôlée randomisée avec 151 développeurs, le code du groupe IA a été résolu 13 % plus rapidement, avec un CodeHealth et une couverture de tests comparables. Chez les utilisateurs expérimentés, la qualité du code IA était même supérieure.
Conception de l'expérience
L'expérience était divisée en deux phases. Dans la première, 151 participants (95 % de développeurs pratiquants) ont amélioré une application Java/Spring Boot appelée RecipeFinder (~2000 lignes avec mauvaises odeurs de code et bogues). Tâche : ajouter un filtrage des recettes par temps de cuisson.
Les participants étaient répartis en groupes :
- Dévs IA : utilisaient des assistants IA (Copilot, ChatGPT, Cursor).
- Dév sans IA : sans IA.
Répartition stratifiée par expérience. Géographie : mondiale, démographie équilibrée.
Dans la seconde phase, 75 nouveaux développeurs (sans IA) ont étendu le code de la phase 1 — en ajoutant un filtrage par coût de la portion. Les participants ignoraient l'origine du code. Succès vérifié via des tests d'acceptation dans GitHub Actions.
Métriques de maintenabilité :
| Métrique | Outil | Description |
|---------|------------|----------|
| Temps de complétion | Auto-déclaré + CI | Temps de la tâche de phase 2 |
| CodeHealth (CH) | CodeScene | Agrégat de plus de 25 facteurs (imbrication, God Classes, doublons, bumpy road ; échelle 1–10) |
| Couverture de tests (TC) | JaCoCo | Couverture des lignes par les tests |
| Productivité perçue (PP) | Enquête SPACE | Évaluation subjective (échelle de Likert) |
Analyse : fréquentiste (Wilcoxon, t-test, bootstrap) + bayésienne (régression linéaire/logistique).
Résultats de la phase 1 : Accélération du développement
L'IA a accéléré la tâche :
- Tous les devs IA : médiane +30,7 %.
- Utilisateurs habituels d'IA : moyenne +55,9 %.
Les tâches semblaient réalistes (médiane 4/5 de similarité avec la production).
Résultats de la phase 2 : Maintenabilité du code
Le code IA égalait le traditionnel :
| Métrique | Différence IA vs sans IA | Significativité |
|---------|-------------------|------------|
| Temps de complétion | +13 % plus rapide | Non significative (preuves bayésiennes modérées) |
| CodeHealth | +0,3 points | Non significative globalement, significative pour les habituels (+ modérée bayésienne) |
| Couverture de tests | Pas de différence | Non significative |
| Productivité perçue | Pas de différence | Positif bayésien modéré |
Le code des utilisateurs habituels d'IA avait un meilleur CodeHealth. L'IA génère du code idiomatique et prévisible — cela améliore la maintenabilité.
Risques : Gonflement de code et dette cognitive
Les métriques manquent :
- Gonflement de code : l'IA facilite la génération, risque de volume excessif → complexité.
- Dette cognitive : compréhension profonde du code réduite, atrophie des compétences, effet d'amnésie Gell-Mann (moins de critique des langages faibles).
Liens avec DORA et les pratiques
DORA 2025 : l'IA amplifie les pratiques. Les équipes gagnantes ont :
- Petits lots.
- Itérations rapides (tests, revues, refactorisation).
- Architectures modulaires.
- Focus bout en bout.
- Autonomie.
90 % utilisent l'IA quotidiennement, 80 % constatent des gains de productivité, mais la stabilité chute sans pratiques.
Points clés
- Le code IA n'est pas pire à maintenir que le traditionnel, parfois meilleur (utilisateurs habituels).
- Accélération phase 1 : 30–55 %, phase 2 : ~13 %.
- CodeHealth corrèle avec les métriques business (2× itérations, 15× moins de défauts).
- Risques : gonflement et dette cognitive nécessitent de la discipline.
- L'IA booste les équipes solides (DORA).
— Editorial Team
Aucun commentaire pour le moment.