Artículos por etiqueta: moe-sokrasenie

Compresión de GLM-5.1 en 16 GB VRAM: trucos GQA

Desglose de la compresión del modelo MoE GLM-5.1 de 744B a 388 MB para T4. Corrige errores GQA, código de config, inferencia. Para devs intermedios/seniors — repite en tu hardware.