首页 技术发现 减压
🇬🇧 English 🇪🇸 Español 🇩🇪 Deutsch 🇫🇷 Français 🇵🇱 Polski 🇨🇿 Česky 🇨🇳 中文 🇰🇷 한국어

按标签查看文章: ml-hacking

在 16 GB VRAM 上压缩 GLM-5.1：GQA 技巧

在 16 GB VRAM 上压缩 GLM-5.1：GQA 技巧

将 744B MoE 模型 GLM-5.1 压缩到 388 MB 用于 T4 的详解。修复 GQA 错误、配置代码、推理。适用于中高级开发者 — 在你的硬件上重复操作。