# 실패에서 상위 12%로: 데이터 과학자를 위한 세 가지 Kaggle 교훈
국제 Kaggle 대회 ASHRAE에서 건물 에너지 소비를 예측하는 데 참여한 것은 나에게 전환점이 됐다. 3614명 중 2431위로 출발해 5개월 동안 158번의 늦은 제출을 거치며 558위까지 올라 상위 12%에 들었다. 이 여정에서 배운 세 가지 핵심 교훈을 동료 데이터 과학자들과 공유한다.
교훈 1: 오직 승자들만이 당신의 스승이 될 수 있다
2019년 12월 대회가 끝난 후, 현실을 직면했다. 내 private score 1.415(2431위)는 승리와 거리가 멀었다. 2020년 1월, 우승자들이 솔루션을 공개했는데, 이게 바로 나의 구원이었다. 대부분의 팀이 모델 아키텍처, 코드, 데이터 전처리 전략을 공개적으로 공유했다. 주요 솔루션을 연구하는 데 하루 종일 쏟아부었고 깨달았다. 결과를 내기 위해서는 탑 팀의 방법을 베끼는 게 필요하며, 바퀴를 새로 발명할 필요가 없다.
러시아 도매 전력 시장을 위한 수학 모델 개발 경력 12년에도 불구하고 완전 초보처럼 느껴졌다. 복잡한 파이프라인 구현 초기 시도는 실패로 끝났다. 기대와 현실이 맞지 않았고 지표가 나빠졌다. 동료에게 보낸 이메일에서 이를 "공포의 감정"이라고 표현했다. 하지만 바로 여기에 Kaggle의 힘이다. 이 플랫폼은 당신을 안락지대에서 끌어내린다. 각 늦은 제출은 최신 솔루션을 이해하는 한 걸음이다. 50회 반복 후 "이게 된다"는 느낌이 들기 시작했고, 158번째 업로드에서 상위 12%에 들었다.
교훈 2: 효과적인 데이터 과학자는 여러 모델을 다룬다
ASHRAE는 이전에 써보지 못한 라이브러리 세계를 열어줬다: LightGBM, CatBoost, Prophet. 우승자들은 수천 개 모델을 조합해 블렌딩했다. 예를 들어 2위 팀은 XGBoost, LightGBM, CatBoost, 신경망 결과를 섞어 20,000개 모델을 만들었다. 핵심 통찰: 효과적인 앙상블을 위해 두 가지 조건이 필요하다.
- 모델들이 비슷한 정확도를 보여야 한다
- 알고리즘들이 예측에서 다양성을 가져야 한다
내 솔루션은 세 세트의 평균에 기반했다:
- 지역별 56개 LightGBM 모델
- 에너지 유형별 24개 LightGBM 모델
- 지역별 36개 XGBoost 모델
전처리에는 날씨 데이터의 선형 보간과 일정 에너지 소비 값 제거가 포함됐다. 후처리 부족과 모델 다양성 제한이 내 ~12% 결과와 우승자들의 탑 1%를 설명한다. 결론: 단일 알고리즘 솔루션은 Kaggle에서 실패한다. 효율성은 제어된 다양성을 가진 하이브리드 파이프라인으로 달성된다.
교훈 3: 광범위한 경험은 숙달의 필연적 단계다
하이퍼파라미터 작업에는 체계적인 그리드 서치가 필요하다. LightGBM과 XGBoost에서 수십 가지 조합을 테스트하며 한 번에 하나의 파라미터만 바꿨다. 총 계산된 예측 수는 160억을 초과했다: 158 업로드 × 훈련용 2천만 레코드 + 158 × 예측용 4천2백만. 대부분의 실험은 제출 전에 버려졌지만 직관을 형성했다.
이제 LightGBM에서 num_leaves 변경이 오버피팅에 어떻게 영향을 미치는지, 또는 노이즈 데이터에서 XGBoost의 정규화 reg_lambda가 왜 중요한지 바로 알 수 있다. 이건 이론 지식이 아니라 수천 반복으로 쌓인 직관이다. Kaggle은 이런 훈련에 이상적이다. 상업 프로젝트에 리스크 없이 실험할 수 있다. 업무에서는 하루 4시간을 하이퍼파라미터 튜닝에 쓸 수 없지만, Kaggle에서는 이 "시간 낭비"가 전문 성장 투자로 변한다.
핵심 교훈
- 승자들에게서 배우라: 그들의 솔루션이 최고의 교과서다. 자아가 상처받더라도 접근 방식을 분석하라.
- 앙상블을 사용하라: 여러 모델(LightGBM, XGBoost, CatBoost)의 결과를 블렌딩해 정확도를 높여라. 다양성이 핵심이다.
- 광범위한 경험을 쌓아라: 하이퍼파라미터 반복이 직관을 만든다. Kaggle은 상업 프로젝트 밖에서 완벽한 놀이터다.
— Editorial Team
아직 댓글이 없습니다.