SDXS-1B: difusión compacta para GPU

Modelo de Difusión Compacto SDXS-1B: Arquitectura y Entrenamiento

SDXS-1B es un modelo de generación de imágenes con una UNet de 1.600 millones de parámetros, un codificador de texto Qwen3.5-2B y un VAE asimétrico (32 canales latentes). Ofrece generación de alta calidad en tarjetas gráficas de gama media. La versión alfa se publica bajo licencia Apache-2.0 con código abierto de preparación de datos y entrenamiento.

El desarrollo comenzó en diciembre de 2024 con experimentos en transformadores lineales Sana. Transición a UNet en febrero de 2025 y trabajo paralelo en arquitecturas DiT. Para diciembre de 2025, se entrenó una versión prototipo sdxs-0.8B con una UNet al estilo SD1.5, Long CLIP y un VAE de 16 canales en flow matching.

Las pruebas de ideas SDXL en 2026 mostraron degradación del rendimiento o ralentización. Regreso a la arquitectura clásica. Adaptación del VAE Flux.2: conversión a una variante asimétrica de 32 canales con ajuste fino en 1 GPU durante 2 días. Ajuste fino con 5 objetivos y normalización para preservar detalles.

Métricas de Calidad del VAE

El VAE sdxs-1b lidera en PSNR y LPIPS entre modelos 16x:

Factor de escala 8x
SDXL             | MSE=1.925e-03 PSNR=30.00 LPIPS=0.123 Edge=0.181 KL=32.113
FLUX.1           | MSE=4.098e-04 PSNR=36.06 LPIPS=0.033 Edge=0.083 KL=13.127
FLUX.2           | MSE=2.425e-04 PSNR=38.33 LPIPS=0.023 Edge=0.065 KL=2.160

Factor de escala 16x
Wan2.2-TI2V-5B (2Gb) | MSE=7.034e-04 PSNR=34.65 LPIPS=0.050 Edge=0.115 KL=9.429
sdxs-1b (200Mb)      | MSE=2.655e-04 PSNR=37.83 LPIPS=0.026 Edge=0.066 KL=2.170

Cambio a Qwen3.5-2B como codificador de texto: embeddings de la penúltima capa para mejor estructura. Soporte para multimodalidad y multilingüismo.

Arquitectura SDXS-1B

El modelo incluye tres componentes:

• UNet (1.600 millones de parámetros): el doble de grande que SD1.5, bloques uniformes para equilibrio de anatomía y detalles.
• Qwen3.5-2B: supera a CLIP/SigLIP en calidad, capacidades multimodales.
• VAE asimétrico: latente de 32 canales, codificador 8×, decodificador 16×. Escalador integrado 2× para resolución 512–768 px sin pérdida de estilo.

El escalador aumenta 2 veces, preservando detalles y estilo. Útil para tareas que priorizan precisión: rayos X, reproducciones de arte.

Refinamiento de prompts: mejora automática para consultas basadas en etiquetas. Soporte para imagen a imagen y entrada de audio experimental.

Preparación de Datos

Conjunto de datos: 1–2 millones de imágenes de Midjourney, Nijjourney (dibujos, ilustraciones, ~10% fotos). Subtítulos: etiquetas danbooru + descripciones hasta 250 tokens.

Preprocesamiento:

• Escalado 768–1408 px (paso 64 px) para diferentes proporciones.
• Entrenamiento a la mitad de la resolución.
• Límite de texto de 250 tokens, 10% de dropout en el codificador.

Entrenamiento e Hiperparámetros

Entrenamiento por fases: características de bajo nivel → composición → detalles. Optimizador AdamW8bit, LR de 4e-5 a 4e-6. Programaciones LR: 0.5–5.0 por etapas. Entrenamiento en 1–8 RTX 5090, 2–3 meses.

Código: scripts de código abierto train.py, conversión de dataset. Uso vía Diffusers Hugging Face.

Puntos Clave

• Compacidad: UNet de 1.600M parámetros + VAE de 200 Mb, inferencia en GPU de consumo.
• VAE SOTA: PSNR 37.83 a 16x, escalador integrado 2×.
• Qwen3.5: multimodalidad, multilingüismo sin pérdida de calidad.
• Versión alfa: fuerte en ilustraciones, débil en fotos (prompt negativo "foto").
• Código abierto: Apache-2.0, código en Hugging Face.

Limitaciones y Perspectivas

Limitaciones: el conjunto de datos se centra en ilustraciones, el fotorrealismo necesita refinamiento. Sin cobertura completa de temas.

Perspectivas: expansión del conjunto de datos, turbo-LoRA, ControlNet, video. Comunidad invitada para ajuste fino.

— Editorial Team