Virtual Try-On z AI: hybryda IDM-VTON i Leffa

# Hybrydowy potok Virtual Try-On: połączenie IDM-VTON i Leffa dla e-commerce

Technologia Virtual Try-On oparta na modelach dyfuzyjnych rozwiązuje problem realistycznego przymierzania ubrań w e-commerce. Zespół deweloperów połączył model warp-free IDM-VTON i warp-based Leffa w hybrydowy potok. Pozwoliło to zachować strukturę pozy, mimikę i szczegółowe tekstury przy spełnianiu SLA dla aplikacji mobilnych i inteligentnych luster.

Ograniczenia uniwersalnych generatorów

Modele typu DALL-E lub Nano Banana nie nadają się do rygorystycznych wymagań marek modowych. Zniekształcają kąt widzenia, proporcje ciała i mimikę nawet przy szczegółowych promptach. Główne problemy:

• Zmiana twarzy i pozy modelu.
• Halucynacje nadruków, logo i faktury tkaniny.
• Niezgodność z oryginalnym kątem widzenia.
• Zależność od zewnętrznych API z ryzykiem przekroczenia SLA.

Inpainting po masce od DensePose, YOLO lub SegmentAnything częściowo rozwiązuje problem, ale wymaga inferencji on-premises dla niezawodności. Dowfinetuning z LPIPS i SSIM poprawia jakość.

Architektury Warp-based vs Warp-free

Potoki dyfuzyjne dla Virtual Try-On dzielą się na dwa typy.

Warp-based (deformacja ubrań):

Algorytm stosuje Thin-Plate Spline lub flow fields do nałożenia płaskiego obrazu ubrania na ciało. Dyfuzja wygładza artefakty.

Zalety:

• Precyzyjne zachowanie tekstur i detali (wzory, logo).

Wady:

• Artefakty przy skomplikowanych pozach lub hałaśliwych zdjęciach.
• Problemy z ubraniami różnej długości (np. koszulka na koszuli).

Warp-free (oparte na attention):

Obraz ubrania jest kodowany w cechy i przekazywany przez Cross-Attention do UNet z IP-Adapter. Maska określa obszar inpaintingu.

Zalety:

• Naturalne fałdy, cienie i oświetlenie.
• Działanie na zdjęciach in-the-wild z przymierzalni.

Wady:

• Rozmycie skomplikowanych wzorów i napisów.

IDM-VTON: podstawa struktury

IDM-VTON to model warp-free z dwoma UNet: GarmentNet koduje ubranie, TryonNet generuje wynik. Cechy są wbudowywane w warstwy self-attention.

Model tworzy globalną strukturę: kontury rękawów, sylwetkę na pozie, padanie światła. Po dowfinetuningu na zbiorach DressCode i VITON-HD metryki LPIPS i SSIM poprawiły się dla zdjęć nie ze studia.

Leffa: szczegółowość tekstur

Leffa integruje logikę warp w warstwy attention za pomocą flow fields. DensePose dostarcza 3D-geometrię ciała, model projektuje teksturę z uwzględnieniem geometrii.

Zoptymalizowana wersja bez generacji pozy zmniejsza zużycie VRAM o 40%. Leffa przywraca ostrość nadruków, fakturę i fałdy.

Realizacja hybrydowego inferencji

Hybryda wykorzystuje iteracyjny proces denoisingu dyfuzji.

• Pierwsze 25–40% kroków (IDM-VTON): Zaszumiony latent + maska od DensePose. Tworzony jest poprawny sylwet bez artefaktów ciała.

• Pozostałe kroki (Leffa): Latent przekazywany do Leffa w celu dopracowania tekstury na gotowej geometrii.

To łączy naturalność warp-free z szczegółowością warp-based. Czas inferencji jest niższy niż w FLUX+LoRA.

Wyniki:

• IDM-VTON: poprawne kształty, słaba szczegółowość.
• Leffa: ostre tekstury, artefakty konturów.
• Hybryda: równowaga struktury i detali, działa w scenariuszach in-the-wild.

Co ważne

• Hybrydowy potok minimalizuje artefakty ciała i zachowuje tekstury.
• Inferencja on-premises zapewnia SLA dla handlu detalicznego.
• Dowfinetuning na rzeczywistych zbiorach poprawia LPIPS/SSIM.
• Optymalizacja Leffa zmniejsza VRAM o 40%.
• Podejście nadaje się do różnych typów ubrań bez przeuczenia.

— Editorial Team