ML 앙상블에서 오류 다양성이 품질을 능가한다

# 앙상블에서 오류 다양성: 왜 약한 모델이 강한 모델을 이길까

앙상블에서 핵심은 개별 모델의 평균 성능이 아니라, 오류 간 상관관계가 얼마나 낮은지입니다. 금융 시계열 데이터 실험에서 재학습 빈도가 낮은 모델 풀(Step 20)이 MAE 8.5를 달성하며, 빈번한 재학습 모델(Step 1)의 9.5를 앞질렀습니다. 개별 지표는 더 나빴음에도(중간 MAE 15.7 vs. 11.6) 말입니다.

실험 방법론

데이터: 흑해 FOB 밀 가격 시계열 + 기본 및 거시경제 요인. 예측 구간: 1~12주.

기본 모델: 18개 알고리즘(Holt-Winters, Prophet, Random Forest, Ridge, KNN, Gradient Boosting) + 하이퍼파라미터 변형 및 학습 기간.

평가 지표: MAE, MAPE, 추세 방향 정확도.

앙상블 방법: Lasso 회귀.

주요 변수: 재학습 빈도에 따른 풀 비교.

• Step 1: 매 관측치마다 재학습.
• Step 20: 20주기마다 재학습.

지표별 결과

Step 20 앙상블은 MAE를 46% 줄였습니다(15.7 → 8.5). Step 1은 18%에 그쳤습니다(11.6 → 9.5). 개별로는 Step 1이 우수: 중간 추세 정확도 55% vs. 52.5%.

MAE 요약:
Step 1 (개별): 중간 11.6
Step 20 (개별): 중간 15.7
Step 1 앙상블: 9.5
Step 20 앙상블: 8.5

Step 20이 모든 구간(1~12주)에서 앞섭니다. 중장기 예측에서 격차가 더 벌어지며, 앙상블 추세 정확도가 65.7%로 Step 1 최고 모델을 넘어섰습니다.

오류 상관 구조

빈번한 업데이트(Step 1)는 모델들이 비슷한 국부 최적점으로 수렴하게 해 오류 상관이 높아집니다. 이런 예측 평균화는 실수를 고치지 못합니다.

드문 업데이트(Step 20)는 매개변수 공간에서 큰 변화를 일으켜 다양한 최적점을 만듭니다. 오류 상관이 약해 서로 상쇄됩니다.

모델 궤적 산점도에서 변화가 보입니다: Step 20 앙상블이 낮은 MAE/MAPE 영역으로 이동, 개별 모델은 흩어져도 전체 성능 우수.

앙상블 이득

풀 vs. 앙상블 지표 비교로 효과 확인: Step 20의 Lasso가 다양성을 높여 우수 성능.

앙상블 구축 실전 팁

• 개별 지표만 보고 선별 말고: 상관 없는 오류를 가진 약한 모델이 가치.
• 탐욕적 선택: 현재 앙상블 지표 향상에 최적 모델 추가.
• 오류 상관 모니터링: 높은 상관 평균화는 무의미.
• 재학습 주기 다양화: 드문 사이클로 다양성 ↑.
• 검증 데이터 테스트: 오류 다양성을 독립 목표 지표로 삼기.

핵심 요약

• 앙상블에서 오류 다양성 > 개별 모델 품질.
• 드문 업데이트로 상관 없는 오류 생성, MAE 46% 향상.
• 장기 예측에서 효과 극대화, 오류 보상 필수.
• 앙상블 기여도 기준 탐욕 선택 > 개별 지표 정렬.
• 오류 상관이 풀 잠재력 최고 지표.

이 실험은 직관적 '최고 모델' 선택이 앙상블을 망칠 수 있음을 증명합니다. 오류 구조 집중으로 견고한 예측 시스템 구축하세요.

— Editorial Team