Articles par tag: cpu-offload

Exécution de MoE GPT-OSS-120B sur GPU 6 GB jusqu'à 30 t/s

Accélération de GPT-OSS-120B sur un GPU faible avec -cmoe et --fit. Utilisation efficace de la RAM pour les modèles MoE. Instructions pour les développeurs.