De l'échec au top 12 % : Trois leçons Kaggle pour les data scientists
Participer à la compétition internationale Kaggle ASHRAE sur la prédiction de la consommation d'énergie des bâtiments a été un tournant pour moi. Parti de la 2431e place sur 3614, après cinq mois de travail et 158 soumissions tardives, je suis monté à la 558e place, entrant dans le top 12 %. Ce parcours m'a enseigné trois leçons essentielles, que je partage avec mes collègues data scientists.
Leçon 1 : Seuls les gagnants peuvent être vos maîtres
Après la fin de la compétition en décembre 2019, j'ai affronté une dure réalité : mon score privé de 1,415 (2431e place) était loin de la victoire. En janvier 2020, les gagnants ont publié leurs solutions – et cela a été mon salut. La plupart des équipes ont partagé ouvertement leurs architectures de modèles, leur code et leurs stratégies de prétraitement des données. J'ai consacré une journée entière à étudier les solutions clés et j'ai réalisé : pour obtenir des résultats, il faut copier les méthodes des meilleures équipes, pas réinventer la roue.
Malgré 12 ans d'expérience dans le développement de modèles mathématiques pour le marché de gros de l'électricité russe, je me sentais comme un parfait débutant. Les premières tentatives pour implémenter des pipelines complexes se sont soldées par un échec : les attentes ne correspondaient pas à la réalité, les métriques se dégradaient. Dans un e-mail à un collègue, je l'ai décrit comme un « sentiment d'horreur ». Mais c'est là la force de Kaggle : la plateforme vous force à sortir de votre zone de confort. Chaque soumission tardive est un pas vers la compréhension des solutions de pointe. Après 50 itérations, un sentiment de « ça marche » a commencé à se former, et à la 158e soumission, j'entrais dans le top 12 %.
Leçon 2 : Un data scientist efficace travaille avec plusieurs modèles
ASHRAE m'a ouvert un monde de bibliothèques avec lesquelles je n'avais jamais travaillé : LightGBM, CatBoost, Prophet. Les gagnants utilisaient des combinaisons de milliers de modèles, assemblés ensemble. Par exemple, l'équipe deuxième a créé 20 000 modèles, en mélangeant les résultats de XGBoost, LightGBM, CatBoost et de réseaux de neurones. L'idée clé : pour un ensembling efficace, deux conditions sont nécessaires :
- Les modèles doivent démontrer une précision comparable
- Les algorithmes doivent introduire une diversité dans les prédictions
Ma solution reposait sur la moyenne de trois ensembles :
- 56 modèles LightGBM par territoires
- 24 modèles LightGBM par types d'énergie
- 36 modèles XGBoost par territoires
Le prétraitement incluait l'interpolation linéaire des données météo et la suppression des valeurs constantes de consommation d'énergie. L'absence de post-traitement et la diversité limitée des modèles expliquent mon résultat à ~12 % contre top 1 % pour les gagnants. Conclusion : les solutions mono-algorithme sont condamnées sur Kaggle. L'efficacité passe par des pipelines hybrides avec une diversité contrôlée.
Leçon 3 : L'expérience extensive est une étape inévitable de la maîtrise
Travailler avec les hyperparamètres nécessite une recherche systématique en grille. Pour LightGBM et XGBoost, j'ai testé des dizaines de combinaisons, en changeant un seul paramètre à la fois. Le nombre total de prédictions calculées a dépassé 16 milliards : 158 soumissions × 20 M d'enregistrements pour l'entraînement + 158 × 42 M pour la prédiction. La plupart des expériences ont été écartées avant soumission, mais elles ont formé l'intuition.
Désormais, je vois instantanément comment changer num_leaves dans LightGBM affecte le surapprentissage, ou pourquoi la régularisation reg_lambda est cruciale pour XGBoost sur des données bruitées. Ce n'est pas une connaissance théorique – c'est une mémoire musculaire développée par des milliers d'itérations. Kaggle est idéal pour ce type d'entraînement : vous pouvez expérimenter sans risque pour les projets commerciaux. Dans les tâches professionnelles, je ne peux pas passer 4 heures par jour à tuner les hyperparamètres, mais sur Kaggle, cette « perte de temps » devient un investissement dans la croissance professionnelle.
Enseignements clés
- Apprenez des gagnants : Leurs solutions sont le meilleur manuel. Analysez leurs approches, même si cela blesse votre ego.
- Utilisez des ensembles : Mélangez les résultats de plusieurs modèles (LightGBM, XGBoost, CatBoost) pour booster la précision. La diversité est clé.
- Construisez une expérience extensive : Les itérations répétées avec les hyperparamètres développent l'intuition. Kaggle est le terrain de jeu parfait pour cela en dehors des projets commerciaux.
— Editorial Team
Aucun commentaire pour le moment.