Artykuły według tagu: nf4-kvantovanie

Kwantyzacja Gemma 4 31B pod 57GB Kaggle

Dowiedz się, jak załadować model 62GB Gemma 4 31B na Kaggle z limitem 57GB: NF4, bitsandbytes i triki pamięci. Otrzymaj artefakt 18GB do lokalnego inference. Instrukcja dla deweloperów.