Artículos por etiqueta: cpu-offload

Ejecutando MoE GPT-OSS-120B en GPU de 6 GB hasta 30 t/s

Acelerando GPT-OSS-120B en una GPU débil con -cmoe y --fit. Uso eficiente de RAM para modelos MoE. Instrucciones para desarrolladores.