Ecos de IA: La IA no empeora la mantenibilidad del código

Estudio «Echoes of AI»: La mantenibilidad del código generado por asistentes de IA equivale a la tradicional

El estudio «Echoes of AI» demuestra que el código generado con asistentes de IA como Copilot o Cursor no degrada la mantenibilidad. En un experimento controlado aleatorizado con 151 desarrolladores, el código del grupo IA se resolvió un 13 % más rápido, con un CodeHealth y cobertura de pruebas comparables. Para usuarios experimentados, la calidad del código de IA fue incluso superior.

Diseño del experimento

El experimento se dividió en dos fases. En la primera, 151 participantes (95 % desarrolladores en activo) refinaron una app Java/Spring Boot llamada RecipeFinder (~2000 líneas con olores de código y errores). Tarea: agregar filtrado de recetas por tiempo de cocción.

Los participantes se dividieron en grupos:

• IA-devs: usaron asistentes de IA (Copilot, ChatGPT, Cursor).
• !IA-devs: sin IA.

Distribución estratificada por experiencia. Geografía: global, demografía equilibrada.

En la segunda fase, 75 nuevos desarrolladores (sin IA) extendieron el código de la fase 1 —agregando filtrado por costo por porción—. Los participantes no sabían el origen del código. Éxito verificado mediante pruebas de aceptación en GitHub Actions.

Métricas de mantenibilidad:

| Métrica | Herramienta | Descripción |

|----------------------|-----------------|-----------------------------------------------------------------------------|

| Tiempo de finalización | Auto-reportado + CI | Tiempo de tarea de la fase 2 |

| CodeHealth (CH) | CodeScene | Agregado de 25+ factores (anidamiento, God Classes, duplicados, bumpy road; escala 1–10) |

| Cobertura de pruebas (TC) | JaCoCo | Cobertura de líneas por pruebas |

| Productividad percibida (PP) | SPACE survey | Valoración subjetiva (escala Likert) |

Análisis: frequentista (Wilcoxon, t-test, bootstrap) + bayesiano (regresión lineal/logística).

Resultados de la fase 1: Aceleración del desarrollo

La IA aceleró la tarea:

• Todos los IA-devs: mediana +30,7 %.
• Usuarios habituales de IA: promedio +55,9 %.

Las tareas parecieron realistas (mediana 4/5 de similitud con producción).

Resultados de la fase 2: Mantenibilidad del código

El código de IA igualó al tradicional:

| Métrica | Diferencia IA vs !IA | Significancia |

|----------------------|----------------------|----------------------------------------------------|

| Tiempo de finalización | +13 % más rápido | No significativa (evidencia bayesiana moderada) |

| CodeHealth | +0,3 puntos | No significativa en general, significativa para habituales (+ bayesiana moderada) |

| Cobertura de pruebas | Sin diferencia | No significativa |

| Productividad percibida | Sin diferencia | Bayesiana moderada positiva |

El código de usuarios habituales de IA tuvo mejor CodeHealth. La IA genera código idiomático y predecible —esto mejora la mantenibilidad—.

Riesgos: Hinchazón de código y deuda cognitiva

Las métricas no capturan:

• Hinchazón de código: La IA facilita la generación, riesgo de volumen excesivo → complejidad.
• Deuda cognitiva: menor comprensión profunda del código, atrofia de habilidades, efecto Gell-Mann amnesia (menos crítica a lenguajes débiles).

Conexiones con DORA y prácticas

DORA 2025: La IA amplifica las prácticas. Los equipos ganadores tienen:

• Lotes pequeños.
• Iteraciones rápidas (pruebas, revisiones, refactorización).
• Arquitecturas modulares.
• Enfoque end-to-end.
• Autonomía.

El 90 % usa IA diariamente, el 80 % ve ganancias de productividad, pero la estabilidad cae sin prácticas.

Lecciones clave

• El código de IA no es peor de mantener que el tradicional, a veces mejor (usuarios habituales).
• Aceleración fase 1: 30–55 %, fase 2: ~13 %.
• CodeHealth correlaciona con métricas de negocio (2× iteraciones, 15× menos defectos).
• Riesgos: hinchazón y deuda cognitiva requieren disciplina.
• La IA potencia equipos fuertes (DORA).

— Editorial Team