SDXS-1B : diffusion compacte pour GPU

Modèle de diffusion compact SDXS-1B : Architecture et entraînement

SDXS-1B est un modèle de génération d'images avec un UNet de 1,6 milliard de paramètres, un encodeur de texte Qwen3.5-2B et un VAE asymétrique (32 canaux latents). Il offre une génération de haute qualité sur des cartes graphiques milieu de gamme. La version alpha est publiée sous licence Apache-2.0 avec des codes de préparation des données et d'entraînement open source.

Le développement a commencé en décembre 2024 avec des expériences sur les transformateurs linéaires Sana. Transition vers UNet en février 2025 et travaux parallèles sur les architectures DiT. En décembre 2025, une version prototype sdxs-0.8B a été entraînée avec un UNet de style SD1.5, Long CLIP et un VAE 16 canaux sur flow matching.

Les tests des idées SDXL en 2026 ont montré une dégradation des performances ou un ralentissement. Retour à l'architecture classique. Adaptation du VAE Flux.2 : conversion en une variante asymétrique 32 canaux avec fine-tuning sur 1 GPU pendant 2 jours. Fine-tuning avec 5 cibles et normalisation pour préserver les détails.

Métriques de qualité du VAE

Le VAE sdxs-1b mène en PSNR et LPIPS parmi les modèles 16x :

Facteur d'échelle 8x
SDXL             | MSE=1.925e-03 PSNR=30.00 LPIPS=0.123 Edge=0.181 KL=32.113
FLUX.1           | MSE=4.098e-04 PSNR=36.06 LPIPS=0.033 Edge=0.083 KL=13.127
FLUX.2           | MSE=2.425e-04 PSNR=38.33 LPIPS=0.023 Edge=0.065 KL=2.160

Facteur d'échelle 16x
Wan2.2-TI2V-5B (2Gb) | MSE=7.034e-04 PSNR=34.65 LPIPS=0.050 Edge=0.115 KL=9.429
sdxs-1b (200Mb)      | MSE=2.655e-04 PSNR=37.83 LPIPS=0.026 Edge=0.066 KL=2.170

Passage à Qwen3.5-2B comme encodeur de texte : embeddings de l'avant-dernière couche pour une meilleure structure. Prise en charge de la multimodalité et du multilinguisme.

Architecture SDXS-1B

Le modèle comprend trois composants :

• UNet (1,6 milliard de paramètres) : deux fois plus grand que SD1.5, blocs uniformes pour équilibre anatomie/détails.
• Qwen3.5-2B : dépasse CLIP/SigLIP en qualité, capacités multimodales.
• VAE asymétrique : latent 32 canaux, encodeur 8×, décodeur 16×. Suréchantillonneur intégré 2× pour résolution 512–768 px sans perte de style.

Le suréchantillonneur multiplie par 2, préservant détails et style. Utile pour tâches privilégiant la précision : radiographies, reproductions d'art.

Raffinement de prompt : amélioration automatique pour requêtes basées tags. Prise en charge image-à-image et entrée audio expérimentale.

Préparation des données

Jeu de données : 1–2 millions d'images de Midjourney, Nijjourney (dessins, illustrations, ~10% photos). Légendes : tags danbooru + descriptions jusqu'à 250 tokens.

Prétraitement :

• Mise à l'échelle 768–1408 px (pas 64 px) pour différents ratios d'aspect.
• Entraînement à la moitié de la résolution.
• Limite texte de 250 tokens, dropout 10% sur l'encodeur.

Entraînement et hyperparamètres

Entraînement par phases : caractéristiques bas niveau → composition → détails. Optimiseur AdamW8bit, LR de 4e-5 à 4e-6. Programmes LR : 0.5–5.0 par étapes. Entraînement sur 1–8 RTX 5090, 2–3 mois.

Code : scripts open source train.py, conversion dataset. Utilisation via Diffusers Hugging Face.

Points clés

• Compacité : UNet 1,6B paramètres + VAE 200 Mb, inférence sur GPU grand public.
• VAE SOTA : PSNR 37.83 à 16x, suréchantillonneur 2× intégré.
• Qwen3.5 : multimodalité, multilinguisme sans perte de qualité.
• Version alpha : forte en illustrations, plus faible en photos (prompt négatif "photo").
• Open source : Apache-2.0, code sur Hugging Face.

Limites et perspectives

Limites : jeu de données centré sur illustrations, photoréalisme à affiner. Pas de couverture complète des sujets.

Perspectives : expansion du jeu de données, turbo-LoRA, ControlNet, vidéo. Communauté invitée au fine-tuning.

— Editorial Team