SDXS-1B: kompaktní difúze pro GPU

Kompaktní difúzní model SDXS-1B: Architektura a trénink

SDXS-1B je model pro generování obrázků s 1,6 miliardami parametrů UNet, textovým enkodérem Qwen3.5-2B a asymetrickým VAE (32 latentních kanálů). Poskytuje vysokou kvalitu generování na středně výkonných grafických kartách. Alfa verze byla zveřejněna pod licencí Apache-2.0 s otevřeným kódem pro přípravu dat a trénink.

Vývoj začal v prosinci 2024 experimenty s lineárními transformery Sana. Přechod na UNet v únoru 2025 a paralelní práce na DiT architekturách. Do prosince 2025 byl natrénován prototyp sdxs-0.8B s UNet ve stylu SD1.5, Long CLIP a 16kanálovým VAE na flow matching.

Testování nápadů ze SDXL v roce 2026 ukázalo degradaci výkonu nebo zpomalení. Návrat ke klasické architektuře. Adaptace Flux.2 VAE: konverze na 32kanálovou asymetrickou variantu s dotrénováním na 1 GPU za 2 dny. Dotrénování s 5 cíli a normalizací pro zachování detailů.

Metriky kvality VAE

VAE sdxs-1b vede v PSNR a LPIPS mezi 16x modely:

8x scale factor
SDXL             | MSE=1.925e-03 PSNR=30.00 LPIPS=0.123 Edge=0.181 KL=32.113
FLUX.1           | MSE=4.098e-04 PSNR=36.06 LPIPS=0.033 Edge=0.083 KL=13.127
FLUX.2           | MSE=2.425e-04 PSNR=38.33 LPIPS=0.023 Edge=0.065 KL=2.160

16x scale factor
Wan2.2-TI2V-5B (2Gb) | MSE=7.034e-04 PSNR=34.65 LPIPS=0.050 Edge=0.115 KL=9.429
sdxs-1b (200Mb)      | MSE=2.655e-04 PSNR=37.83 LPIPS=0.026 Edge=0.066 KL=2.170

Přechod na Qwen3.5-2B jako textový enkodér: embeddingy z předposlední vrstvy pro lepší strukturu. Podpora multimodalita a vícejazyčnosti.

Architektura SDXS-1B

Model zahrnuje tři komponenty:

• UNet (1,6 miliardy parametrů): dvakrát více než SD1.5, rovnoměrné bloky pro rovnováhu anatomie a detailů.
• Qwen3.5-2B: překonává CLIP/SigLIP v kvalitě, multimodální schopnosti.
• Asymetrický VAE: latent 32 kanálů, enkodér 8×, dekodér 16×. Vestavěný 2× upscaler pro rozlišení 512–768 px bez ztráty stylu.

Upscaler zvětšuje 2×, zachovává detaily a styl. Užitečný pro úlohy s prioritou přesnosti: rentgen, kopie obrazů.

Upřesnění promptu: automatické vylepšení pro tagové dotazy. Podpora image-to-image a experimentální audio vstup.

Příprava dat

Dataset: 1–2 miliony obrázků z Midjourney, Nijjourney (kresby, ilustrace, ~10 % fotek). Popisky: danbooru tagy + popisy do 250 tokenů.

Předzpracování:

• Škálování 768–1408 px (krok 64 px) pro různé poměry stran.
• Trénink na polovičním rozlišení.
• Omezení textu na 250 tokenů, dropout 10 % na enkodéru.

Trénink a hyperparametry

Fázový trénink: low-level features → kompozice → detaily. Optimalizátor AdamW8bit, LR od 4e-5 do 4e-6. Scénáře LR: 0,5–5,0 podle fází. Trénink na 1–8 RTX 5090, 2–3 měsíce.

Kód: open-source skripty train.py, konverze datasetů. Použití přes Diffusers Hugging Face.

Co je důležité

• Kompaktnost: 1,6B parametrů UNet + 200 Mb VAE, inference na consumer GPU.
• VAE SOTA: PSNR 37,83 na 16x, vestavěný 2× upscaler.
• Qwen3.5: multimodalita, vícejazyčnost bez ztráty kvality.
• Alfa verze: silná v ilustracích, slabší ve fotkách (negative prompt «photo»).
• Open-source: Apache-2.0, kód na Hugging Face.

Omezení a perspektivy

Omezení: dataset se zaměřuje na ilustrace, fotorealismus vyžaduje vylepšení. Neúplné pokrytí témat.

Perspektivy: rozšíření datasetu, turbo-LoRA, ControlNet, video. Komunita je zvána k dotrénování.

— Editorial Team