AI를 사용한 가상 피팅: 하이브리드 IDM-VTON 및 Leffa

# # 하이브리드 가상 피팅 파이프라인: E-Commerce를 위한 IDM-VTON과 Leffa 결합

확산 모델 기반의 가상 피팅 기술은 이커머스에서 사실적인 옷 착용을 가능하게 합니다. 개발자들은 워프 없는 IDM-VTON 모델과 워프 기반 Leffa를 하이브리드 파이프라인으로 결합했습니다. 이는 포즈 구조, 얼굴 표정, 세부 텍스처를 보존하면서 모바일 앱과 스마트 미러의 SLA 요구사항을 충족합니다.

범용 생성기의 한계

DALL-E나 Nano Banana 같은 모델들은 패션 브랜드의 엄격한 요구사항을 충족하지 못합니다. 상세한 프롬프트에도 각도, 신체 비율, 얼굴 표정이 왜곡됩니다. 주요 문제점:

• 모델의 얼굴과 포즈 변경.
• 프린트, 로고, 원단 텍스처의 환각 현상.
• 원본 각도와의 불일치.
• SLA 위반 위험이 있는 외부 API 의존.

DensePose, YOLO, SegmentAnything에서 생성된 마스크를 사용한 인페인팅은 문제를 부분적으로 해결하지만 신뢰성을 위해 온프레미스 추론이 필요합니다. LPIPS와 SSIM을 사용한 미세 조정으로 품질이 향상됩니다.

워프 기반 vs 워프 없는 아키텍처

가상 피팅을 위한 확산 파이프라인은 두 가지 범주로 나뉩니다.

워프 기반 (Garment Deformation):

알고리즘은 Thin-Plate Spline이나 플로우 필드를 적용해 평평한 옷 이미지를 신체에 오버레이합니다. 확산이 아티팩트를 부드럽게 합니다.

장점:

• 텍스처와 세부 사항(패턴, 로고)의 정확한 보존.

단점:

• 복잡한 포즈나 노이즈가 있는 사진에서 아티팩트 발생.
• 길이가 다른 옷(셔츠 위 티셔츠)에서 문제 발생.

워프 없는 (Attention-Based):

옷 이미지를 특징으로 인코딩해 IP-Adapter가 있는 UNet의 Cross-Attention을 통해 전달합니다. 마스크가 인페인팅 영역을 정의합니다.

장점:

• 자연스러운 주름, 그림자, 조명.
• 피팅 룸의 야생 사진에서 작동.

단점:

• 복잡한 패턴과 텍스트의 블러링.

IDM-VTON: 구조의 기반

IDM-VTON은 워프 없는 모델로 GarmentNet이 옷을 인코딩하고 TryonNet이 결과를 생성하는 두 개의 UNet을 사용합니다. 특징이 self-attention 레이어에 주입됩니다.

모델은 글로벌 구조를 형성합니다: 소매 윤곽, 포즈上的 실루엣, 빛의 감소. DressCode와 VITON-HD 데이터셋으로 미세 조정 후 LPIPS와 SSIM 지표가 비스튜디오 사진에서 향상되었습니다.

Leffa: 텍스처 상세화

Leffa는 플로우 필드를 통해 attention 레이어에 워프 로직을 통합합니다. DensePose가 3D 신체 지오메트리를 제공하며, 모델은 지오메트리를 고려해 텍스처를 투영합니다.

포즈 생성 없는 최적화 버전은 VRAM을 40% 줄입니다. Leffa는 프린트, 텍스처, 주름의 선명도를 복원합니다.

하이브리드 추론 구현

하이브리드는 반복적인 확산 디노이징 프로세스를 사용합니다.

• 첫 25–40% 단계 (IDM-VTON): DensePose에서 가져온 노이즈 레이턴트 + 마스크. 신체 아티팩트 없이 올바른 실루엣 형성.

• 나머지 단계 (Leffa): 준비된 지오메트리에서 텍스처 세밀화 위해 레이턴트를 Leffa로 전달.

이는 워프 없는 자연스러움과 워프 기반 세부 사항을 결합합니다. 추론 시간은 FLUX+LoRA보다 짧습니다.

결과:

• IDM-VTON: 올바른 형태, 약한 세부화.
• Leffa: 선명한 텍스처, 윤곽 아티팩트.
• 하이브리드: 구조와 세부 사항의 균형, 야생 시나리오에서 작동.

주요 요점

• 하이브리드 파이프라인은 신체 아티팩트를 최소화하고 텍스처를 보존합니다.
• 온프레미스 추론은 리테일 SLA를 보장합니다.
• 실제 데이터셋 미세 조정으로 LPIPS/SSIM 향상.
• Leffa 최적화로 VRAM 40% 감소.
• 재학습 없이 다양한 옷 유형에 작동.

— Editorial Team