Vielfalt der Fehler schlägt Qualität in ML-Ensembles

Vielfalt der Fehler in Ensembles: Warum schwache Modelle starke schlagen

In Ensembles zählt nicht die durchschnittliche Qualität einzelner Modelle – entscheidend ist, wie unkorreliert ihre Fehler sind. Ein Experiment mit Finanzzeitreihen zeigte: Ein Pool aus Modellen mit seltener Nachjustierung (Schritt 20) erreichte einen MAE von 8,5 und schlug die 9,5 von häufig nachjustierten Modellen (Schritt 1), obwohl die individuellen Metriken schlechter waren (Median-MAE 15,7 vs. 11,6).

Experimentaufbau

Daten: Zeitreihen der FOB-Weizenpreise am Schwarzen Meer plus fundamentale und makroökonomische Faktoren. Prognosehorizont: 1–12 Wochen.

Basismodelle: 18 Algorithmen (Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) mit Hyperparameter-Variationen und Trainingsperioden.

Evaluierungsmetriken: MAE, MAPE, Genauigkeit der Trendrichtung.

Ensembling: Lasso-Regression.

Schlüsselfaktor: Vergleich von Pools mit unterschiedlichen Nachjustierungshäufigkeiten.

• Schritt 1: Nachjustierung bei jeder Beobachtung.
• Schritt 20: Nachjustierung alle 20 Perioden.

Ergebnisse nach Metriken

Das Ensemble Schritt 20 senkt den MAE um 46 % (von 15,7 auf 8,5), während Schritt 1 nur 18 % schafft (von 11,6 auf 9,5). Einzeln ist Schritt 1 besser: Median-Trendgenauigkeit 55 % vs. 52,5 %.

MAE-Übersicht:
Schritt 1 (einzeln): Median 11,6
Schritt 20 (einzeln): Median 15,7
Schritt-1-Ensemble: 9,5
Schritt-20-Ensemble: 8,5

Schritt 20 führt über alle Horizonte (1–12 Wochen). Der Vorsprung wächst bei mittel- und langfristigen Prognosen: Das Ensemble erreicht 65,7 % Trendgenauigkeit und übertrifft die besten Modelle von Schritt 1.

Struktur der Fehlerkorrelation

Häufige Updates (Schritt 1) lassen Modelle zu ähnlichen lokalen Minima konvergieren, mit stark korrelierten Fehlern. Das Mitteln dieser Prognosen behebt die Fehler nicht.

Seltene Updates (Schritt 20) verursachen Sprünge im Parametersraum und erzeugen vielfältige Minima. Die Fehler sind schwach korreliert und heben sich gegenseitig auf.

Streudiagramme der Modellbahnen zeigen den Wechsel: Schritt-20-Ensembles wandern in MAE/MAPE-Tiefs, auch wenn einzelne Modelle verstreut sind.

Vorteile des Ensemblings

Der Vergleich von Pool- vs. Ensemble-Metriken bestätigt den Effekt: Lasso bei Schritt 20 steigert die Vielfalt für überlegene Leistung.

Praktische Tipps zum Ensemble-Aufbau

• Wählen Sie nicht nur nach individuellen Metriken: Schwache Modelle bringen Wert durch unkorrelierte Fehler.
• Greedy-Auswahl nutzen: Fügen Sie Modelle hinzu, die den aktuellen Ensemble-Metriken am meisten nutzen.
• Fehlerkorrelationen überwachen: Mitteln starker Korrelationen bringt nichts.
• Nachjustierungshäufigkeit variieren: Seltene Zyklen erhöhen die Vielfalt.
• Auf Validierungsdaten testen: Fehlerdiversität als eigenständige Zielmetrik behandeln.

Wichtige Erkenntnisse

• Fehlerdiversität übertrumpft die Qualität einzelner Modelle in Ensembles.
• Seltene Modellupdates erzeugen unkorrelierte Fehler und verbessern MAE-Prognosen um 46 %.
• Der Effekt wächst bei längeren Horizonten, wo Fehlerkompensation entscheidend ist.
• Greedy-Auswahl nach Ensemble-Beitrag schlägt Sortierung nach Einzelleistung.
• Fehlerkorrelation ist der beste Indikator für das Potenzial eines Pools.

Dieses Experiment beweist: Die intuitiv „besten“ Modelle auszuwählen, kann Ensembles schaden. Fokus auf Fehlerstruktur schafft robuste Prognosesysteme.

— Editorial Team