Články podle tagu: moe-sokrasenie

Komprese GLM-5.1 na 16 GB VRAM: hacky GQA

Rozbor komprese 744B MoE modelu GLM-5.1 na 388 MB pro T4. Oprava chyb GQA, kód configu, inferenční průchod. Pro middle/senior dev — opakujte na svém hardwaru.