Lecciones de Kaggle: Cómo llegar al Top 12% con 158 intentos | ML

De fracaso al top 12%: Tres lecciones de Kaggle para científicos de datos

Participar en la competición internacional de Kaggle ASHRAE sobre predicción del consumo energético de edificios fue un punto de inflexión para mí. Partiendo del puesto 2431.º de 3614, tras cinco meses de trabajo con 158 submisiones tardías, ascendí al 558.º, entrando en el top 12%. Este recorrido me enseñó tres lecciones clave, que comparto con mis compañeros científicos de datos.

Lección 1: Solo los ganadores pueden ser tus maestros

Tras finalizar la competición en diciembre de 2019, me enfrenté a la cruda realidad: mi puntuación privada de 1.415 (puesto 2431.º) estaba lejos de la victoria. En enero de 2020, los ganadores publicaron sus soluciones —y eso fue mi salvación—. La mayoría de los equipos compartieron abiertamente arquitecturas de modelos, código y estrategias de preprocesamiento de datos. Dediqué un día entero a estudiar las soluciones clave y comprendí: para lograr resultados, hay que copiar los métodos de los equipos top, no reinventar la rueda.

A pesar de mis 12 años de experiencia desarrollando modelos matemáticos para el mercado mayorista de electricidad ruso, me sentía como un completo novato. Los intentos iniciales de implementar pipelines complejos terminaron en fracaso: las expectativas no coincidían con la realidad, las métricas empeoraban. En un correo a un colega, lo describí como una «sensación de horror». Pero ahí radica el poder de Kaggle: la plataforma te obliga a salir de tu zona de confort. Cada submision tardía es un paso hacia la comprensión de las soluciones de vanguardia. Tras 50 iteraciones, empezó a formarse la sensación de «está funcionando», y con la 158.ª, entré en el top 12%.

Lección 2: Un científico de datos efectivo maneja múltiples modelos

ASHRAE me abrió un mundo de bibliotecas con las que no había trabajado antes: LightGBM, CatBoost, Prophet. Los ganadores usaban combinaciones de miles de modelos, mezclados mediante blending. Por ejemplo, el equipo en segundo lugar creó 20 000 modelos, combinando resultados de XGBoost, LightGBM, CatBoost y redes neuronales. Idea clave: para un ensamblado efectivo, se necesitan dos condiciones:

• Los modelos deben demostrar una precisión comparable
• Los algoritmos deben introducir diversidad en las predicciones

Mi solución se basó en el promedio de tres conjuntos:

• 56 modelos LightGBM por territorios
• 24 modelos LightGBM por tipos de energía
• 36 modelos XGBoost por territorios

El preprocesamiento incluyó interpolación lineal de datos meteorológicos y eliminación de valores constantes de consumo energético. La falta de post-procesamiento y la limitada diversidad de modelos explican mi resultado de ~12% frente al top 1% de los ganadores. Conclusión: las soluciones de un solo algoritmo están condenadas en Kaggle. La eficiencia se logra mediante pipelines híbridos con diversidad controlada.

Lección 3: La experiencia extensa es una etapa inevitable de la maestría

Trabajar con hiperparámetros requiere una búsqueda sistemática en grid. Para LightGBM y XGBoost, probé docenas de combinaciones, cambiando solo un parámetro a la vez. El número total de predicciones calculadas superó los 16 mil millones: 158 envíos × 20M registros para entrenamiento + 158 × 42M para predicción. La mayoría de los experimentos se descartaron antes del envío, pero formaron la intuición.

Ahora veo al instante cómo cambiar num_leaves en LightGBM afecta el sobreajuste, o por qué la regularización reg_lambda es crítica para XGBoost en datos ruidosos. Esto no es conocimiento teórico, es memoria muscular desarrollada a través de miles de iteraciones. Kaggle es ideal para este entrenamiento: puedes experimentar sin riesgo para proyectos comerciales. En tareas laborales, no puedo dedicar 4 horas al día al ajuste de hiperparámetros, pero en Kaggle, esta «pérdida de tiempo» se convierte en una inversión en crecimiento profesional.

Conclusiones clave

• Aprende de los ganadores: Sus soluciones son el mejor libro de texto. Analiza sus enfoques, aunque magulle tu ego.
• Usa ensambles: Mezcla resultados de múltiples modelos (LightGBM, XGBoost, CatBoost) para potenciar la precisión. La diversidad es clave.
• Construye experiencia extensa: Las iteraciones repetidas con hiperparámetros generan intuición. Kaggle es el patio de juegos perfecto para esto fuera de proyectos comerciales.

— Editorial Team