컴팩트 확산 모델 SDXS-1B: 아키텍처와 학습 과정
SDXS-1B는 16억 개의 파라미터를 가진 UNet, Qwen3.5-2B 텍스트 인코더, 비대칭 VAE(32개의 잠재 채널)로 구성된 이미지 생성 모델입니다. 중급 사양의 그래픽 카드에서도 고품질 생성이 가능합니다. 알파 버전은 Apache-2.0 라이선스로 공개되었으며, 오픈소스 데이터 준비 및 학습 코드를 포함합니다.
개발은 2024년 12월 Sana 선형 트랜스포머 실험으로 시작되었습니다. 2025년 2월 UNet으로 전환하고 DiT 아키텍처에 대한 병렬 작업을 진행했습니다. 2025년 12월까지 SD1.5 스타일의 UNet, Long CLIP, 16채널 VAE를 사용한 프로토타입 버전 sdxs-0.8B가 플로우 매칭으로 학습되었습니다.
2026년 SDXL 아이디어 테스트에서는 성능 저하나 속도 감소가 나타났습니다. 클래식 아키텍처로 회귀했습니다. Flux.2 VAE를 적용: 32채널 비대칭 변형으로 변환하여 1개의 GPU에서 2일간 미세 조정했습니다. 5개의 타겟으로 미세 조정하고 디테일 보존을 위한 정규화를 수행했습니다.
VAE 품질 지표
VAE sdxs-1b는 16x 모델 중 PSNR과 LPIPS에서 선두를 달리고 있습니다:
8x 스케일 팩터
SDXL | MSE=1.925e-03 PSNR=30.00 LPIPS=0.123 Edge=0.181 KL=32.113
FLUX.1 | MSE=4.098e-04 PSNR=36.06 LPIPS=0.033 Edge=0.083 KL=13.127
FLUX.2 | MSE=2.425e-04 PSNR=38.33 LPIPS=0.023 Edge=0.065 KL=2.160
16x 스케일 팩터
Wan2.2-TI2V-5B (2Gb) | MSE=7.034e-04 PSNR=34.65 LPIPS=0.050 Edge=0.115 KL=9.429
sdxs-1b (200Mb) | MSE=2.655e-04 PSNR=37.83 LPIPS=0.026 Edge=0.066 KL=2.170텍스트 인코더로 Qwen3.5-2B 채택: 더 나은 구조를 위해 마지막에서 두 번째 레이어의 임베딩을 사용합니다. 다중 모달리티와 다국어 지원을 포함합니다.
SDXS-1B 아키텍처
모델은 세 가지 구성 요소로 이루어져 있습니다:
- UNet (16억 개의 파라미터): SD1.5보다 두 배 크며, 균일한 블록으로 해부학적 구조와 디테일의 균형을 유지합니다.
- Qwen3.5-2B: CLIP/SigLIP보다 품질이 뛰어나며, 다중 모달 기능을 갖추고 있습니다.
- 비대칭 VAE: 32채널 잠재 공간, 8× 인코더, 16× 디코더. 내장된 2× 업스케일러로 512–768 픽셀 해상도에서 스타일 손실 없이 확대 가능합니다.
업스케일러는 2배 확대하며 디테일과 스타일을 보존합니다. 정확도가 중요한 작업에 유용합니다: X-레이, 예술 작품 복제 등.
프롬프트 개선: 태그 기반 쿼리를 위한 자동 개선 기능. 이미지-투-이미지 및 실험적인 오디오 입력을 지원합니다.
데이터 준비
데이터셋: Midjourney, Nijjourney에서 수집한 1–2백만 장의 이미지(그림, 일러스트, 약 10% 사진). 캡션: danbooru 태그 + 최대 250 토큰의 설명.
전처리:
- 다양한 종횡비를 위해 768–1408 픽셀(64 픽셀 단위)로 크기 조정.
- 절반 해상도에서 학습.
- 텍스트 제한 250 토큰, 인코더에 10% 드롭아웃 적용.
학습과 하이퍼파라미터
단계적 학습: 저수준 특징 → 구성 → 디테일 순서로 진행. 옵티마이저 AdamW8bit, 학습률 4e-5에서 4e-6까지. 학습률 스케줄: 0.5–5.0 단계별 조정. 1–8개의 RTX 5090으로 2–3개월간 학습.
코드: 오픈소스 스크립트 train.py, 데이터셋 변환. Diffusers Hugging Face를 통해 사용 가능.
핵심 포인트
- 컴팩트함: 16억 개의 파라미터 UNet + 200 Mb VAE, 일반 소비자용 GPU에서 추론 가능.
- VAE 최신 기술: 16x에서 PSNR 37.83, 내장 2× 업스케일러.
- Qwen3.5: 다중 모달리티, 다국어 지원으로 품질 저하 없음.
- 알파 버전: 일러스트레이션에서 강점, 사진에서 약점(네거티브 프롬프트 "사진").
- 오픈소스: Apache-2.0, Hugging Face에 코드 공개.
한계와 전망
한계: 데이터셋이 일러스트레이션에 집중되어 있어, 사실적인 사진 생성은 개선이 필요합니다. 모든 주제를 완전히 커버하지는 않습니다.
전망: 데이터셋 확장, 터보-LoRA, ControlNet, 비디오 생성. 커뮤니티의 미세 조정을 환영합니다.
— Editorial Team
아직 댓글이 없습니다.