Essayage virtuel avec IA : IDM-VTON et Leffa hybrides

# # Pipeline hybride d'essayage virtuel : Combinaison d'IDM-VTON et Leffa pour l'e-commerce

La technologie d'essayage virtuel propulsée par des modèles de diffusion permet des essayages vestimentaires réalistes en e-commerce. Les développeurs ont combiné le modèle IDM-VTON sans déformation et Leffa basé sur la déformation dans une pipeline hybride. Cela préserve la structure de la pose, les expressions faciales et les textures détaillées tout en respectant les exigences SLA pour les applications mobiles et les miroirs intelligents.

Limites des générateurs universels

Des modèles comme DALL-E ou Nano Banana ne répondent pas aux exigences strictes des marques de mode. Ils déforment les angles, les proportions corporelles et les expressions faciales même avec des invites détaillées. Principaux problèmes :

• Modifications du visage et de la pose du modèle.
• Hallucinations de motifs, logos et textures de tissus.
• Inadéquation avec l'angle original.
• Dépendance à des API externes avec risque de violation des SLA.

L'inpainting avec des masques issus de DensePose, YOLO ou SegmentAnything résout partiellement le problème mais nécessite une inférence sur site pour la fiabilité. L'ajustement fin avec LPIPS et SSIM améliore la qualité.

Architectures avec et sans déformation

Les pipelines de diffusion pour l'essayage virtuel se divisent en deux catégories.

Avec déformation (Déformation du vêtement) :

L'algorithme applique Thin-Plate Spline ou des champs de flux pour superposer l'image plate du vêtement sur le corps. La diffusion lisse les artefacts.

Avantages :

• Préservation précise des textures et détails (motifs, logos).

Inconvénients :

• Artefacts avec des poses complexes ou des photos bruitées.
• Problèmes avec des vêtements de longueurs différentes (t-shirt sur chemise).

Sans déformation (Basée sur l'attention) :

L'image du vêtement est encodée en caractéristiques et transmise via Cross-Attention dans UNet avec IP-Adapter. Un masque définit la zone d'inpainting.

Avantages :

• Plis, ombres et éclairage naturels.
• Fonctionne avec des photos prises sur le terrain dans les cabines d'essayage.

Inconvénients :

• Flou des motifs complexes et du texte.

IDM-VTON : Base de la structure

IDM-VTON est un modèle sans déformation avec deux UNets : GarmentNet encode le vêtement, TryonNet génère le résultat. Les caractéristiques sont injectées dans les couches d'auto-attention.

Le modèle forme la structure globale : contours des manches, silhouette sur la pose, chute de lumière. Après ajustement fin sur les ensembles de données DressCode et VITON-HD, les métriques LPIPS et SSIM se sont améliorées pour les photos non-studio.

Leffa : Détails de texture

Leffa intègre la logique de déformation dans les couches d'attention via des champs de flux. DensePose fournit la géométrie corporelle 3D, et le modèle projette les textures en tenant compte de la géométrie.

La version optimisée sans génération de pose réduit la VRAM de 40 %. Leffa restaure la netteté des impressions, textures et plis.

Mise en œuvre de l'inférence hybride

L'hybride utilise un processus itératif de débruitage par diffusion.

• Premiers 25–40 % des étapes (IDM-VTON) : Latent bruité + masque de DensePose. Forme une silhouette correcte sans artefacts corporels.

• Étapes restantes (Leffa) : Le latent est transmis à Leffa pour affiner les textures sur la géométrie prête.

Cela combine la naturalité sans déformation avec le détail basé sur la déformation. Le temps d'inférence est inférieur à FLUX+LoRA.

Résultats :

• IDM-VTON : Formes correctes, détails faibles.
• Leffa : Textures nettes, artefacts de contour.
• Hybride : Équilibre entre structure et détails, fonctionne dans des scénarios sur le terrain.

Enseignements clés

• La pipeline hybride minimise les artefacts corporels et préserve les textures.
• L'inférence sur site garantit les SLA pour le commerce de détail.
• L'ajustement fin sur des ensembles de données réels améliore LPIPS/SSIM.
• L'optimisation de Leffa réduit la VRAM de 40 %.
• L'approche fonctionne pour divers types de vêtements sans réentraînement.

— Editorial Team