SDXS-1B：适用于 GPU 的紧凑扩散

紧凑型扩散模型SDXS-1B：架构与训练详解

SDXS-1B是一款图像生成模型，采用16亿参数的UNet、Qwen3.5-2B文本编码器和非对称VAE（32个潜在通道）。它能在中端显卡上实现高质量生成。该模型的Alpha版本基于Apache-2.0协议发布，并开源了数据准备和训练代码。

开发始于2024年12月，最初基于Sana线性变换器进行实验。2025年2月转向UNet架构，并并行探索DiT架构。到2025年12月，训练出原型版本sdxs-0.8B，采用SD1.5风格的UNet、Long CLIP和16通道VAE，基于流匹配技术。

2026年测试SDXL理念时发现性能下降或速度减慢，因此回归经典架构。对Flux.2 VAE进行适配：转换为32通道非对称变体，并在1个GPU上微调2天。通过5个目标进行微调并归一化以保留细节。

VAE质量指标

在16倍模型中，VAE sdxs-1b在PSNR和LPIPS上领先：

8倍缩放因子
SDXL             | MSE=1.925e-03 PSNR=30.00 LPIPS=0.123 Edge=0.181 KL=32.113
FLUX.1           | MSE=4.098e-04 PSNR=36.06 LPIPS=0.033 Edge=0.083 KL=13.127
FLUX.2           | MSE=2.425e-04 PSNR=38.33 LPIPS=0.023 Edge=0.065 KL=2.160

16倍缩放因子
Wan2.2-TI2V-5B (2Gb) | MSE=7.034e-04 PSNR=34.65 LPIPS=0.050 Edge=0.115 KL=9.429
sdxs-1b (200Mb)      | MSE=2.655e-04 PSNR=37.83 LPIPS=0.026 Edge=0.066 KL=2.170

采用Qwen3.5-2B作为文本编码器：使用倒数第二层的嵌入以优化结构。支持多模态和多语言功能。

SDXS-1B架构

该模型包含三个组件：

• UNet（16亿参数）：比SD1.5大一倍，采用均匀块以平衡解剖结构和细节。
• Qwen3.5-2B：在质量上超越CLIP/SigLIP，具备多模态能力。
• 非对称VAE：32通道潜在空间，8倍编码器，16倍解码器。内置2倍上采样器，支持512–768像素分辨率且无风格损失。

上采样器可放大2倍，保留细节和风格。适用于优先考虑准确性的任务：如X射线图像、艺术复制品。

提示词优化：自动改进基于标签的查询。支持图像到图像转换和实验性音频输入。

数据准备

数据集：包含100–200万张来自Midjourney和Nijjourney的图像（绘画、插图，约10%为照片）。标注：使用danbooru标签和最多250个令牌的描述。

预处理步骤：

• 缩放至768–1408像素（步长64像素）以适应不同宽高比。
• 以一半分辨率进行训练。
• 文本限制为250个令牌，编码器使用10%的丢弃率。

训练与超参数

分阶段训练：从低级特征到构图再到细节。优化器为AdamW8bit，学习率从4e-5降至4e-6。学习率调度：按阶段调整0.5–5.0。在1–8个RTX 5090上训练2–3个月。

代码：开源脚本train.py和数据集转换工具。通过Diffusers Hugging Face使用。

关键要点

• 紧凑性：16亿参数UNet + 200 Mb VAE，可在消费级GPU上推理。
• VAE达到SOTA水平：16倍下PSNR为37.83，内置2倍上采样器。
• Qwen3.5：支持多模态和多语言，无质量损失。
• Alpha版本：在插图上表现强劲，照片处理较弱（可使用负面提示“photo”）。
• 开源：基于Apache-2.0协议，代码托管于Hugging Face。

局限性与前景

局限性：数据集侧重于插图，照片真实感需改进。未覆盖所有主题。

前景：扩展数据集、开发turbo-LoRA、ControlNet和视频功能。邀请社区参与微调。

— Editorial Team