La diversité des erreurs l'emporte sur la qualité dans les ensembles ML

Diversité des erreurs dans les ensembles : pourquoi les modèles faibles surpassent les forts

Dans les ensembles, la clé n’est pas la qualité moyenne des modèles individuels — c’est le degré d’incorrélation de leurs erreurs. Une expérience sur des séries temporelles financières a montré qu’un pool de modèles avec un réentraînement peu fréquent (Étape 20) obtenait un MAE de 8,5, surpassant les 9,5 des modèles réentraînés fréquemment (Étape 1), même si les métriques individuelles étaient pires (médiane MAE 15,7 contre 11,6).

Méthodologie de l’expérience

Données : Séries temporelles des prix du blé FOB mer Noire, plus des facteurs fondamentaux et macroéconomiques. Horizon de prévision : 1–12 semaines.

Modèles de base : 18 algorithmes (Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) avec variations d’hyperparamètres et périodes d’entraînement.

Métriques d’évaluation : MAE, MAPE, précision de la direction de tendance.

Ensemblage : Régression Lasso.

Facteur clé : Comparaison de pools avec différentes fréquences de réentraînement.

• Étape 1 : Réentraîner à chaque observation.
• Étape 20 : Réentraîner tous les 20 périodes.

Résultats par métrique

L’ensemble Étape 20 réduit le MAE de 46 % (de 15,7 à 8,5), tandis que l’Étape 1 n’en réduit que 18 % (de 11,6 à 9,5). Individuelles, l’Étape 1 est meilleure : médiane de précision de tendance 55 % contre 52,5 %.

Résumé MAE :
Étape 1 (individuel) : médiane 11,6
Étape 20 (individuel) : médiane 15,7
Ensemble Étape 1 : 9,5
Ensemble Étape 20 : 8,5

L’Étape 20 domine sur tous les horizons (1–12 semaines). L’écart s’élargit sur les prévisions à moyen et long terme : l’ensemble atteint 65,7 % de précision de tendance, surpassant les meilleurs modèles de l’Étape 1.

Structure de corrélation des erreurs

Les mises à jour fréquentes (Étape 1) font converger les modèles vers des minima locaux similaires, avec des erreurs fortement corrélées. Moyenniser ces prévisions ne corrige pas les erreurs.

Les mises à jour peu fréquentes (Étape 20) provoquent des sauts dans l’espace des paramètres, créant des minima diversifiés. Les erreurs sont faiblement corrélées et s’annulent mutuellement.

Les diagrammes de dispersion des trajectoires des modèles montrent le changement : les ensembles Étape 20 migrent vers des zones de faible MAE/MAPE, même si les modèles individuels sont dispersés.

Gains de l’ensemblage

La comparaison des métriques pool vs. ensemble confirme l’effet : Lasso sur Étape 20 booste la diversité pour des performances supérieures.

Conseils pratiques pour construire des ensembles

• Ne sélectionnez pas uniquement sur les métriques individuelles : les modèles faibles apportent de la valeur avec des erreurs non corrélées.
• Utilisez une sélection gloutonne : ajoutez les modèles qui maximisent les gains sur la métrique actuelle de l’ensemble.
• Surveillez les corrélations d’erreurs : moyenniser des erreurs fortement corrélées n’apporte aucun bénéfice.
• Variez la fréquence de réentraînement : des cycles peu fréquents augmentent la diversité.
• Testez sur validation : traitez la diversité des erreurs comme une métrique cible autonome.

Enseignements clés

• La diversité des erreurs prime sur la qualité individuelle des modèles dans les ensembles.
• Les mises à jour peu fréquentes génèrent des erreurs non corrélées, boostant les prévisions MAE de 46 %.
• L’effet s’amplifie sur les horizons plus longs, où la compensation des erreurs est cruciale.
• La sélection gloutonne par contribution à l’ensemble surpasse le tri par métriques solo.
• La corrélation des erreurs est le meilleur indicateur du potentiel d’un pool.

Cette expérience prouve : choisir les « meilleurs » modèles intuitivement peut nuire à votre ensemble. Se concentrer sur la structure des erreurs permet de bâtir des systèmes de prévision robustes.

— Editorial Team