# Hybridní pipeline Virtual Try-On: kombinace IDM-VTON a Leffa pro e-commerce
Technologie Virtual Try-On založená na difúzních modelech řeší úkol realistické zkoušení oblečení v e-commerce. Tým vývojářů spojil warp-free model IDM-VTON a warp-based Leffa do hybridního pipeline. To umožnilo zachovat strukturu pózy, mimiku a detailní textury při dodržení SLA pro mobilní aplikace a chytré zrcadla.
Omezení univerzálních generátorů
Modely typu DALL-E nebo Nano Banana nevyhovují přísným požadavkům fashion značek. Zkreslují úhel pohledu, proporce těla a mimiku i při detailních promptách. Hlavní problémy:
- Změna obličeje a pózy modelu.
- Halucinace tisků, logotypů a textury látky.
- Nesoulad s původním úhlem pohledu.
- Závislost na externích API s rizikem překročení SLA.
Inpainting podle masky z DensePose, YOLO nebo SegmentAnything částečně problém řeší, ale vyžaduje on-premises inferenci pro spolehlivost. Dodatečné trénování s LPIPS a SSIM zlepšuje kvalitu.
Warp-based vs Warp-free architektury
Difúzní pipeliny pro Virtual Try-On se dělí na dva typy.
Warp-based (deformace oblečení):
Algoritmus aplikuje Thin-Plate Spline nebo flow fields pro přenášející plochý obrázek oblečení na tělo. Difúze vyhlazuje artefakty.
Výhody:
- Přesné zachování textur a detailů (vzory, logotypy).
Nevýhody:
- Artefakty u složitých póz nebo šumavých fotek.
- Problémy s oblečením různé délky (tričko na košili).
Warp-free (attention-based):
Obrázek oblečení se kódů do příznaků a předává přes Cross-Attention do UNet s IP-Adapter. Maska určuje oblast inpaintu.
Výhody:
- Přirozené záhyby, stíny a osvětlení.
- Funguje s in-the-wild fotkami z kabinek.
Nevýhody:
- Rozmazání složitých vzorů a nápisů.
IDM-VTON: základ struktury
IDM-VTON je warp-free model se dvěma UNet: GarmentNet kódů oblečení, TryonNet generuje výsledek. Příznaky se vkládají do self-attention vrstev.
Model vytváří globální strukturu: obrysy rukávů, siluetu na pózě, pád světla. Po dodatečném trénování na datech DressCode a VITON-HD se metriky LPIPS a SSIM zlepšily pro nefotografické fotky.
Leffa: detailizace textur
Leffa integruje warp-logiku do attention vrstev přes flow fields. DensePose poskytuje 3D geometrii těla, model promítá texturu s ohledem na geometrii.
Optimalizovaná verze bez generace pózy snižuje VRAM o 40 %. Leffa obnovuje ostrost tisků, texturu a záhyby.
Realizace hybridní inferenční
Hybrid používá iterativní proces denoisingu difúze.
- Prvních 25–40 % kroků (IDM-VTON): Zzašuměný latent + maska z DensePose. Vytváří se správný obrys bez artefaktů těla.
- Zbývající kroky (Leffa): Latent se předává do Leffa pro doladění textury na hotové geometrii.
To kombinuje přirozenost warp-free s detailizací warp-based. Čas inferenční je nižší než u FLUX+LoRA.
Výsledky:
- IDM-VTON: správné tvary, slabá detailizace.
- Leffa: ostré textury, artefakty obrysů.
- Hybrid: rovnováha struktury a detailů, funguje v in-the-wild scénářích.
Co je důležité
- Hybridní pipeline minimalizuje artefakty těla a zachovává textury.
- On-premises inferenční zajišťuje SLA pro retail.
- Dodatečné trénování na reálných datech zlepšuje LPIPS/SSIM.
- Optimalizace Leffa snižuje VRAM o 40 %.
- Přístup je použitelný pro různé typy oblečení bez přetrénování.
— Editorial Team
Zatím žádné komentáře.