Różnorodność błędów pokonuje jakość w ansamblach ML

Różnorodność błędów w zespołach: dlaczego słabe modele dają lepsze wyniki

W zespołach decydującym czynnikiem nie jest średnia jakość pojedynczych modeli, lecz stopień ich niepowiązanych błędów. Eksperyment na szeregach czasowych cen finansowych wykazał: pula modeli z rzadkimi aktualizacjami (Krok 20) osiąga MAE 8,5 wobec 9,5 dla puli z częstymi aktualizacjami (Krok 1), mimo gorszych indywidualnych wyników (mediana MAE 15,7 wobec 11,6).

Metodologia eksperymentu

Dane: szeregi czasowe cen pszenicy FOB Morze Czarne, czynniki fundamentalne i makroekonomiczne. Horyzont prognozy — 1–12 tygodni.

Podstawowe modele: 18 algorytmów (Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) z wariacjami hiperparametrów i okresów uczenia.

Metryki oceny: MAE, MAPE, dokładność predykcji kierunku trendu.

Zespołowanie: regresja Lasso.

Kluczowy czynnik: porównanie pul o różnej częstotliwości przeuczenia.

• Krok 1: przeuczenie na każdym obserwowaniu.
• Krok 20: przeuczenie co 20 okresów.

Wyniki według metryk

Zespół Kroku 20 obniża MAE o 46% (z 15,7 do 8,5), Krok 1 — o 18% (z 11,6 do 9,5). Indywidualnie Krok 1 jest lepszy: mediana dokładności trendu 55% wobec 52,5%.

Podsumowanie MAE:
Krok 1 (indywidualnie): mediana 11,6
Krok 20 (indywidualnie): mediana 15,7
Zespół Krok 1: 9,5
Zespół Krok 20: 8,5

Na wszystkich horyzontach (1–12 tygodni) Krok 20 prowadzi. Różnica rośnie na średnich i długich horyzontach: zespół osiąga 65,7% dokładności trendu, przewyższając top modele Kroku 1.

Struktura korelacji błędów

Częste aktualizacje (Krok 1) prowadzą do zbieżności modeli w lokalnych minimach o wysokiej korelacji błędów. Uśrednianie takich prognoz nie kompensuje błędów.

Rzadkie aktualizacje (Krok 20) powodują skoki w przestrzeni parametrów, tworząc różnorodne minima. Błędy są słabo skorelowane i wzajemnie się kompensują.

Diagram rozrzutu trajektorii modeli pokazuje migrację: zespół Kroku 20 przesuwa się w strefę niskich MAE/MAPE, choć pojedyncze modele są rozproszone.

Przyrost z zespołowania

Porównanie puli i zespołu według podsumowujących metryk potwierdza efekt: Lasso na Kroku 20 wzmacnia różnorodność, zapewniając wyższą wydajność.

Praktyczne wskazówki do budowania zespołów

• Unikaj selekcji tylko po indywidualnych metrykach: słaby model jest cenny przy niepowiązanych błędach.
• Stosuj chciwą selekcję: dodawaj modele według maksymalnego przyrostu metryki istniejącego zespołu.
• Monitoruj korelację błędów: zerowy efekt uśredniania przy wysokiej korelacji.
• Zmieniaj częstotliwość aktualizacji: rzadkie cykle zwiększają różnorodność.
• Testuj na walidacji: różnorodność błędów jako osobna metryka docelowa.

Co jest najważniejsze

• Różnorodność błędów dominuje nad indywidualną jakością w zespołach.
• Rzadkie aktualizacje modeli generują niepowiązane błędy, poprawiając prognozę o 46% wg MAE.
• Na długich horyzontach efekt się nasila z powodu kluczowej kompensacji błędów.
• Chciwa selekcja według wkładu w zespół jest skuteczniejsza niż sortowanie po pojedynczych metrykach.
• Korelacja błędów to kluczowy wskaźnik potencjału puli.

Eksperyment podkreśla: intuicyjna selekcja „najlepszych” modeli może pogorszyć końcowy zespół. Skupienie na strukturze błędów pozwala budować solidne systemy prognozowania.

— Editorial Team