Artículos por etiqueta: nf4-kvantovanie

Cuantización Gemma 4 31B bajo 57GB Kaggle

Aprende cómo cargar el modelo Gemma 4 31B de 62GB en Kaggle con límite de 57GB: NF4, bitsandbytes y trucos de memoria. Obtén un artefacto de 18GB para inferencia local. Instrucciones para desarrolladores.