Články podle tagu: gemma-31b

Kvantizace Gemma 4 31B pod 57GB Kaggle

Zjistěte, jak načíst 62GB model Gemma 4 31B na Kaggle s limitem 57GB: NF4, bitsandbytes a hacky paměti. Získejte 18GB artefakt pro lokální inference. Návod pro vývojáře.