Rozmanitost chyb překonává kvalitu v ML ansámblích

Různorodost chyb v ensemblích: proč slabé modely přinášejí lepší výsledky

V ensemblích rozhodujícím faktorem není průměrná kvalita jednotlivých modelů, ale míra nekorelovanosti jejich chyb. Experiment na finančních časových řadách ukázal: sada modelů s vzácnými aktualizacemi (Krok 20) dosahuje MAE 8,5 oproti 9,5 u sady s častými aktualizacemi (Krok 1), přestože individuální metriky jsou horší (medián MAE 15,7 oproti 11,6).

Metodika experimentu

Data: časové řady cen pšenice FOB Černé moře, fundamentální a makroekonomické faktory. Horizont předpovědi — 1–12 týdnů.

Základní modely: 18 algoritmů (Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) s variacemi hyperparametrů a období učení.

Metriky hodnocení: MAE, MAPE, přesnost předpovědi směru trendu.

Ensemblirování: Lasso regrese.

Klíčový faktor: porovnání sad s různou frekvencí přeučení.

• Krok 1: přeučení na každém pozorování.
• Krok 20: přeučení jednou za 20 období.

Výsledky podle metrik

Ensembl Krok 20 snižuje MAE o 46 % (z 15,7 na 8,5), Krok 1 o 18 % (z 11,6 na 9,5). Individuálně je Krok 1 lepší: medián přesnosti trendu 55 % oproti 52,5 %.

Shrnutí MAE:
Krok 1 (individuálně): medián 11,6
Krok 20 (individuálně): medián 15,7
Ensembl Krok 1: 9,5
Ensembl Krok 20: 8,5

Na všech horizontech (1–12 týdnů) vede Krok 20. Rozdíl roste na středních a dlouhých horizontech: ensembl dosahuje 65,7 % přesnosti trendu, překonává top modely Kroku 1.

Struktura korelací chyb

Časté aktualizace (Krok 1) vedou k konvergenci modelů k lokálním minimům s vysokou korelací chyb. Průměrování takových předpovědí chyby nekompenzuje.

Vzácné aktualizace (Krok 20) způsobují skoky v prostoru parametrů, tvoří různorodé minima. Chyby jsou slabě korelované a vzájemně se kompenzují.

Diagram rozptylu trajektorií modelů ukazuje migraci: ensembl Krok 20 se posouvá do zóny nízkých MAE/MAPE, i když jednotlivé modely jsou rozptýlené.

Přínos ensemblirování

Porovnání sady a ensemblu podle souhrnných metrik potvrzuje efekt: Lasso na Kroku 20 zesiluje různorodost a zajišťuje lepší výkon.

Praktické doporučení pro sestavování ensemblů

• Vyhněte se výběru pouze podle individuálních metrik: slabý model je cenný při nekorelovaných chybách.
• Používejte chamtivý výběr: přidávejte modely podle maximálního přínosu metrik stávajícího ensemblu.
• Monitorujte korelaci chyb: nulový efekt průměrování při vysoké korelaci.
• Variujte frekvenci aktualizací: vzácné cykly zvyšují různorodost.
• Testujte na validaci: různorodost chyb jako samostatná cílová metrika.

Co je důležité

• Různorodost chyb dominuje nad individuální kvalitou v ensemblích.
• Vzácné aktualizace modelů generují nekorelované chyby, zlepšují předpověď o 46 % podle MAE.
• Na dlouhých horizontech se efekt zesiluje kvůli kritické kompenzaci chyb.
• Chamtivý výběr podle příspěvku do ensemblu je efektivnější než řazení podle jednotlivých metrik.
• Korelace chyb je klíčový indikátor potenciálu sady.

Experiment zdůrazňuje: intuitivní výběr „nejlepších“ modelů může zhoršit výsledný ensembl. Zaměření na strukturu chyb umožňuje budovat robustní systémy předpovídání.

— Editorial Team