Kaggle-Lektionen: Wie man mit 158 Versuchen die Top 12% erreicht | ML

Vom Versagen zum Top 12 %: Drei Kaggle-Lektionen für Datenwissenschaftler

Die Teilnahme am internationalen Kaggle-Wettbewerb ASHRAE zur Vorhersage des Energieverbrauchs von Gebäuden war ein Wendepunkt für mich. Von Platz 2431 von 3614 aus, nach fünf Monaten Arbeit mit 158 späten Einreichungen, kletterte ich auf Platz 558 und landete in den Top 12 %. Diese Reise hat mir drei zentrale Lektionen vermittelt, die ich mit anderen Datenwissenschaftlern teile.

Lektion 1: Nur Gewinner können deine Lehrer sein

Nach dem Ende des Wettbewerbs im Dezember 2019 traf mich die harte Realität: Mein privater Score von 1,415 (Platz 2431) war meilenweit von einem Sieg entfernt. Im Januar 2020 veröffentlichten die Gewinner ihre Lösungen – und das wurde zu meiner Rettung. Die meisten Teams teilten offen ihre Modellarchitekturen, Code und Datenaufbereitungsstrategien. Ich widmete einen ganzen Tag dem Studium der wichtigsten Lösungen und erkannte: Um Ergebnisse zu erzielen, musst du die Methoden der Top-Teams kopieren, statt das Rad neu zu erfinden.

Trotz 12 Jahren Erfahrung bei der Entwicklung mathematischer Modelle für den russischen Großhandelsstrommarkt fühlte ich mich wie ein totaler Neuling. Erste Versuche, komplexe Pipelines umzusetzen, scheiterten kläglich: Die Erwartungen passten nicht zur Realität, die Metriken verschlechterten sich. In einer E-Mail an einen Kollegen beschrieb ich es als "Gefühl des Grauens". Genau hier liegt die Stärke von Kaggle: Die Plattform zwingt dich aus deiner Komfortzone heraus. Jede späte Einreichung ist ein Schritt hin zu einem Verständnis der State-of-the-Art-Lösungen. Nach 50 Iterationen stellte sich ein Gefühl von "es funktioniert" ein, und bei der 158. Einreichung war ich in den Top 12 %.

Lektion 2: Ein effektiver Datenwissenschaftler arbeitet mit mehreren Modellen

ASHRAE öffnete mir die Welt neuer Bibliotheken, mit denen ich noch nie gearbeitet hatte: LightGBM, CatBoost, Prophet. Die Gewinner setzten Kombinationen aus Tausenden von Modellen ein, die sie zu Blends verarbeiteten. Das Team auf Platz 2 erstellte beispielsweise 20.000 Modelle und mischte Ergebnisse aus XGBoost, LightGBM, CatBoost und neuronalen Netzen. Der Schlüssel: Für effektives Ensembling braucht es zwei Bedingungen:

• Die Modelle müssen vergleichbare Genauigkeiten zeigen
• Die Algorithmen müssen Vielfalt in den Vorhersagen bringen

Meine Lösung basierte auf dem Durchschnitt aus drei Sätzen:

• 56 LightGBM-Modelle nach Territorien
• 24 LightGBM-Modelle nach Energietypen
• 36 XGBoost-Modelle nach Territorien

Die Aufbereitung umfasste lineare Interpolation der Wetterdaten und Entfernung konstanter Energieverbrauchswerte. Der Mangel an Nachbearbeitung und begrenzte Modellvielfalt erklären mein Ergebnis von rund 12 % im Vergleich zu Top 1 % bei den Gewinnern. Fazit: Lösungen mit einem einzigen Algorithmus sind auf Kaggle zum Scheitern verurteilt. Effizienz entsteht durch hybride Pipelines mit kontrollierter Vielfalt.

Lektion 3: Umfangreiche Erfahrung ist ein unvermeidbarer Meilenstein auf dem Weg zur Meisterschaft

Die Arbeit mit Hyperparametern erfordert systematische Grid-Suche. Bei LightGBM und XGBoost testete ich Dutzende von Kombinationen und änderte jeweils nur einen Parameter. Die Gesamtzahl der berechneten Vorhersagen überschritt 16 Milliarden: 158 Einreichungen × 20 Mio. Datensätze fürs Training + 158 × 42 Mio. für die Vorhersage. Die meisten Experimente landeten vor der Einreichung im Papierkorb, bauten aber Intuition auf.

Heute sehe ich sofort, wie eine Änderung von num_leaves in LightGBM das Overfitting beeinflusst oder warum die Regularisierung reg_lambda für XGBoost bei verrauschten Daten entscheidend ist. Das ist kein theoretisches Wissen – es ist Muskelgedächtnis, das durch Tausende Iterationen entsteht. Kaggle ist ideal für solches Training: Du kannst risikofrei experimentieren, ohne kommerzielle Projekte zu gefährden. Bei Arbeitsaufgaben kann ich nicht vier Stunden am Tag für Hyperparameter-Tuning opfern, aber auf Kaggle wird dieser "Zeitverlust" zur Investition in berufliches Wachstum.

Wichtige Erkenntnisse

• Lerne von Gewinnern: Ihre Lösungen sind das beste Lehrbuch. Analysiere ihre Ansätze, auch wenn es dein Ego verletzt.
• Nutze Ensembles: Blende Ergebnisse aus mehreren Modellen (LightGBM, XGBoost, CatBoost), um die Genauigkeit zu steigern. Vielfalt ist entscheidend.
• Baue umfangreiche Erfahrung auf: Wiederholte Iterationen mit Hyperparametern schärfen die Intuition. Kaggle ist der perfekte Spielplatz dafür abseits kommerzieller Projekte.

— Editorial Team