Artykuły według tagu: moe-sokrasenie

Kompresja GLM-5.1 na 16 GB VRAM: hacki GQA

Analiza kompresji modelu MoE 744B GLM-5.1 do 388 MB dla T4. Naprawa błędów GQA, kod konfiguracji, inferencja. Dla middle/senior dev — powtórzcie na swoim sprzęcie.