판매 예측: Excel에서 ML로 반 년 만에

엑셀에서 머신러닝 앙상블까지: 6개월 만에 매출 예측 시스템 구축

비즈니스 의사결정은 매출 예측에 크게 의존한다. 프로모션을 시작할지, 예산을 조정할지 판단할 때, 정확도가 4.5%인 모델이라도 한 번의 20% 오차는 신뢰를 무너뜨린다. 경영진은 수치를 무시하고 수동 조정을 하며, 목표 달성을 놓칠까 봐 과잉 투자하게 된다. 진짜 비즈니스 요구사항은 무엇일까? 바로 예측 가능성 — 월말 목표를 치명적인 실수 없이 달성할 수 있는가?

기존 모델 생태계의 문제점

현재 사용 중인 접근법에는 다음과 같은 문제가 있었다:

• 각 물류 센터별 Prophet: 수천 개의 모델이 운영 중. 단점: 새 센터 처리 불가(엑셀 전문가 추정), 국가 수준 검증 미흡, 일간 정밀도 최적화로 인해 월간 목표와 부합하지 않음.
• 엑셀 기반 연간 계절성: 지난해 주별 데이터 × 성장률(예: +15%면 1.15). 시각적 추정에 의존, 정량적 지표 없음.
• 국가 수준 Prophet: 하이퍼파라미터 튜닝 완료, 외부 변수( macro 트렌드, 공휴일, 계획된 할인) 반영. 평균 오차 1~2%지만, 단기 검증은 우연의 산물.

전문가들이 사용하는 엑셀 방법은 재현 불가능했고, 모든 접근법에 통합된 기준이 필요했다.

현실적인 롤링 백테스트: 평가의 기초

12개월 롤링 백테스트를 도입해 객관적 평가를 수행했다. 과거 데이터를 바탕으로 매일 예측을 시뮬레이션하고, 새로운 날짜마다 모델을 재학습하는 방식. 이는 성장, 하락, 마케팅 캠페인, 공휴일 등 실제 환경을 반영한 테스트다.

백테스트 절차:

• 1일차: 1월 1일까지 데이터로 학습 → 45일 후 예측.
• 2일차: 1월 1일 실적 추가 → 재학습 → 새로운 예측.
• 일년 동안 반복.

엑셀 계절성은 파이썬으로 재현되어 베이스라인으로 설정. 센터별 Prophet은 낙관적 결과(새 센터 미반영), 국가 수준 Prophet은 특성 처리 문제 드러남(계획된 vs. 실제 할인).

결과: 베이스라인(엑셀)은 강력한 예측 가능성을 보였으나, ML은 매끄러운 평균을 제공하지만 오차가 불안정했다.

엑셀이 프로펫을 이긴 이유: 단순함의 힘

놀라운 백테스트 결과: 연간 계절성 엑셀 모델이 핵심 지표인 누적 월간 오차에서 프로펫을 앞섰다(비즈니스 관점에서 중요). 프로펫은 일간 정확도에서는 우수했지만, 장기적으로 트렌드 과적합으로 실패했다.

지표 비교:

• MAPE(평균 절대 백분율 오차): 프로펫 우세.
• 30/45일 누적 오차: 엑셀 우세.

프로펫은 시계열을 추세, 계절성(일/월/년), 공휴일, 알려진 특성으로 분해한다. 하지만 단일 시계열에 국한되며, 특성이 사전에 확정되어야 한다는 제약이 있다.

세분화로 나아가기: 도시 수준과 머신러닝

개선을 위해 예측을 도시 수준(79개 도시)으로 세분화했다. 지역적 요인(수요 패턴 차이, 새 물류 센터 등)을 반영할 수 있게 되었다.

클래식 머신러닝 도입:

• 그래디언트 부스팅(LightGBM/XGBoost): 지연항목, 이동평균, 주말/공휴일 더미 변수 포함.
• 특성: 과거 지연(1~30일), 연간 대비 성장률, 외부 신호(공휴일).

결과: 누적 오차 기준으로 베이스라인 대비 10~15% 개선. 그러나 비선형 패턴 포착 능력은 약하며, 이상치에 민감하다는 문제가 있었다.

TSMixer: 혁신과 한계

뉴럴 네트워크로 전환. TSMixer(Temporal Sparse Mixer)는 다변량 시계열 분석의 최첨단 기술이다. 시간에 대한 MLP-Mixer 구조를 활용, 순환층 없이 채널 간 상관관계를 포착한다.

구조:

• 과거/미래 타워: 과거 및 미래 특성 처리.
• MLPMixer 블록: 타임 스텝 기반 토큰 혼합 + 채널 혼합.
• 확장성: 트랜스포머의 O(L²) 대비 O(L * D)로 효율적.

79개 도시 × 3개 지표(매출/주문/수익)로 학습. 백테스트 결과: 베이스라인 대비 25% 우수, 그래디언트 부스팅 대비 12% 우수. 단점: 명절 성수기에는 여전히 지연 발생, 대량 데이터 필요.

최종 앙상블: 강점을 결합한 최적화

단일 예측보다 앙상블이 효과적:

• 엑셀 계절성(30% 가중치): 장기 추세 안정성.
• 그래디언트 부스팅(40%): 지역 패턴 반영.
• TSMixer(30%): 비선형 패턴 처리.

가중치는 백테스트에서의 스택랭킹(지표별 순위 합산)을 통해 결정. 결과: MAPE 3.2%, 월간 누적 오차 95% 경우 <5%. 예측 가능성 향상으로, 비즈니스팀이 수동 조정 없이 수치를 신뢰하게 되었다.

핵심 교훈:

• 평균 정확도보다 예측 가능성이 더 중요: 시간에 따른 누적 오차에 집중할 것.
• 롤링 백테스트는 평가의 표준.
• 앙상블은 순수 모델보다 우수: 단순함 + 머신러닝의 힘.
• 세분화(도시 수준)는 집계보다 효과적.
• 비즈니스는 스트레스 테스트(명절, 경기 하강기)를 통과한 모델을 신뢰한다.

프로젝트 성과

6개월 만에 혼란스러운 기존 시스템은 P.E.S.E.C.(Daily Strategic Forecast)로 진화했다. 이제 비즈니스팀은 당황 없이 의사결정을 내릴 수 있다. 핵심은 정직한 평가, 비즈니스 KPI 중심, 하이브리드 접근법이다.

— Editorial Team