Quantisierung Gemma 4 31B unter 57GB Kaggle

Optimierung von Gemma 4 31B für Kaggle-Grenzen: Quantisierung und Speicherverwaltung

Das Gemma 4 31B-Modell im float16-Format benötigt 62 GB und überschreitet damit das Kaggle-Disk-Limit von 57,6 GB. Die Aufgabe erfordert das Laden des vollständigen Modells, die Quantisierung auf 4-Bit-Darstellung (18 GB) und das Speichern des Ergebnisses, ohne den verfügbaren Speicherplatz zu überschreiten. Die Lösung wird durch sequentielle Nutzung des VRAM von zwei T4-GPUs mit jeweils 15 GB implementiert, wobei device_map="auto" aus der bitsandbytes-Bibliothek mit NF4-Typ verwendet wird.

Die Quantisierung läuft parallel zum Laden: Gewichte werden sofort nach der Übertragung in den Videospeicher komprimiert, wodurch die maximale Festplattennutzung minimiert wird.

Freigabe von Speicherplatz: Löschen des Caches während des Betriebs

Nach dem vollständigen Laden des Modells in den VRAM wird shutil.rmtree() angewendet, um den Hugging Face-Cache-Ordner zu löschen. Unter Linux ist dies für geöffnete Dateien möglich – der Speicherplatz wird für neue Operationen verfügbar, obwohl du ihn weiterhin als belegt anzeigt.

Prozess:

• Das Modell wird im Speicher geladen und quantisiert.
• Die ursprünglichen 62 GB werden gelöscht.
• Der freigegebene Speicherplatz wird verwendet, um die 18 GB quantisierten Gewichte auszulagern.

# Beispiel für Streaming-Upload
model.push_to_hub("repo_id", safe_serialization=True)

Dieser Ansatz umgeht die mathematische Barriere von 62 + 18 = 80 GB.

Implementierungsdetails auf T4-GPUs

Die bitsandbytes-Bibliothek verteilt die Modellschichten zwischen zwei T4-GPUs. Die NF4-Quantisierung reduziert die Größe um das 4-fache ohne signifikanten Qualitätsverlust für Codeverständnis- und Generierungsaufgaben. Vollständige Sequenz:

• Initialisierung mit device_map="auto".
• Parallele Quantisierung von Shards.
• Löschen des Caches nach der Übertragung in den VRAM.
• Direkte Veröffentlichung im Repository über push_to_hub.

Ergebnis – eine Modellgröße von 18,3 GB, kompatibel mit Consumer-GPUs.

Vorteile der Methode für MLOps

Diese Technik ist auf große Modelle in eingeschränkten Umgebungen anwendbar:

• Minimale Anforderungen: Nur kostenlose Kaggle- oder ähnliche Plattformen.
• Automatisierung: Das Skript läuft ohne manuelles Eingreifen.
• Qualitätserhalt: NF4 behält die Leistung auf float16-Niveau für Inferenz bei.
• Skalierbarkeit: Leicht an andere Grenzen (z. B. Colab) anpassbar.

Die Methode erfordert keine A100-Cluster und funktioniert auf Standard-Hardware.

Wichtige Erkenntnisse

• NF4-Quantisierung über bitsandbytes ermöglicht die Komprimierung von 62 GB auf 18 GB im laufenden Betrieb.
• Das Löschen des Hugging Face-Caches mit geöffneten Dateien gibt Festplattenspeicher während des Betriebs frei.
• device_map="auto" verteilt die Last auf mehrere T4-GPUs.
• Direkter Upload mit push_to_hub vermeidet Zwischenspeicherung.
• Der Ansatz eignet sich für Gemma 4 31B und ähnliche Modelle mit über 30B Parametern.

— Editorial Team