La diversidad de errores supera la calidad en ensambles de ML

# Diversidad de Errores en Ensambles: Por Qué los Modelos Débiles Superan a los Fuertes

En los ensambles, lo clave no es la calidad media de los modelos individuales, sino qué tan descorrelacionados están sus errores. Un experimento con series temporales financieras mostró que un conjunto de modelos con reentrenamiento infrecuente (Paso 20) logró un MAE de 8.5, superando el 9.5 de los modelos reentrenados con frecuencia (Paso 1), aunque las métricas individuales eran peores (mediana MAE 15.7 vs. 11.6).

Metodología del Experimento

Datos: Series temporales de precios del trigo FOB Mar Negro, más factores fundamentales y macroeconómicos. Horizonte de pronóstico: 1–12 semanas.

Modelos Base: 18 algoritmos (Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) con variaciones de hiperparámetros y períodos de entrenamiento.

Métricas de Evaluación: MAE, MAPE, precisión en la dirección de la tendencia.

Ensamblado: Regresión Lasso.

Factor Clave: Comparar conjuntos con distintas frecuencias de reentrenamiento.

• Paso 1: Reentrenar en cada observación.
• Paso 20: Reentrenar cada 20 períodos.

Resultados por Métrica

El ensamble del Paso 20 reduce el MAE en un 46% (de 15.7 a 8.5), mientras que el Paso 1 solo logra un 18% (de 11.6 a 9.5). Individualmente, el Paso 1 es mejor: mediana de precisión en tendencia 55% vs. 52.5%.

Resumen MAE:
Paso 1 (individual): mediana 11.6
Paso 20 (individual): mediana 15.7
Ensamble Paso 1: 9.5
Ensamble Paso 20: 8.5

El Paso 20 lidera en todos los horizontes (1–12 semanas). La brecha se amplía en pronósticos de mediano y largo plazo: el ensamble alcanza un 65.7% de precisión en tendencia, superando los mejores modelos del Paso 1.

Estructura de Correlación de Errores

Las actualizaciones frecuentes (Paso 1) hacen que los modelos converjan a mínimos locales similares, con errores altamente correlacionados. Promediar esos pronósticos no corrige los fallos.

Las actualizaciones infrecuentes (Paso 20) provocan saltos en el espacio de parámetros, generando mínimos diversos. Los errores están débilmente correlacionados y se compensan mutuamente.

Los gráficos de dispersión de las trayectorias de los modelos muestran el cambio: los ensambles del Paso 20 migran a zonas de bajo MAE/MAPE, aunque los modelos individuales estén dispersos.

Beneficios del Ensamblado

Comparar métricas de conjunto vs. ensamble confirma el efecto: Lasso en Paso 20 aumenta la diversidad para un rendimiento superior.

Consejos Prácticos para Construir Ensambles

• No selecciones solo por métricas individuales: los modelos débiles aportan valor con errores descorrelacionados.
• Usa selección greedy: añade modelos que maximicen las ganancias en la métrica del ensamble actual.
• Monitorea correlaciones de errores: promediar errores altamente correlacionados no aporta nada.
• Varía la frecuencia de reentrenamiento: ciclos infrecuentes aumentan la diversidad.
• Prueba en validación: trata la diversidad de errores como una métrica independiente.

Lecciones Clave

• La diversidad de errores supera la calidad individual de los modelos en ensambles.
• Actualizaciones infrecuentes generan errores descorrelacionados, mejorando pronósticos MAE en un 46%.
• El efecto crece en horizontes largos, donde la compensación de errores es crucial.
• La selección greedy por contribución al ensamble vence a ordenar por métricas solistas.
• La correlación de errores es el mejor indicador del potencial del conjunto.

Este experimento demuestra: elegir los modelos 'mejores' de forma intuitiva puede dañar tu ensamble. Centrarse en la estructura de errores construye sistemas de pronóstico robustos.

— Editorial Team