Artikel nach Tag: nf4-kvantovanie

Quantisierung Gemma 4 31B unter 57GB Kaggle

Lerne, wie du das 62GB Gemma 4 31B Modell auf Kaggle mit 57GB Limit lädst: NF4, bitsandbytes und Speicherhacks. Erhalte ein 18GB Artefakt für lokale Inferenz. Anleitungen für Entwickler.