Články podle tagu: nf4-kvantovanie

Kvantizace Gemma 4 31B pod 57GB Kaggle

Zjistěte, jak načíst 62GB model Gemma 4 31B na Kaggle s limitem 57GB: NF4, bitsandbytes a hacky paměti. Získejte 18GB artefakt pro lokální inference. Návod pro vývojáře.