Virtuelle Anprobe mit KI: hybrides IDM-VTON und Leffa

# Hybride Pipeline für virtuelles Anprobieren: Kombination von IDM-VTON und Leffa für E-Commerce

Virtuelle Anprobe-Technologie auf Basis von Diffusionsmodellen ermöglicht realistische Kleidungsanproben im E-Commerce. Entwickler haben das warp-freie IDM-VTON-Modell und das warp-basierte Leffa zu einer hybriden Pipeline kombiniert. Dadurch werden Posenstruktur, Mimik und detaillierte Texturen erhalten, während SLA-Anforderungen für Mobile-Apps und Smart-Spiegel erfüllt werden.

Einschränkungen universeller Generatoren

Modelle wie DALL-E oder Nano Banana erreichen nicht die strengen Anforderungen von Mode-Marken. Sie verzerren Winkel, Körperproportionen und Mimik selbst bei detaillierten Prompts. Hauptprobleme:

• Veränderungen am Gesicht und der Pose des Modells.
• Halluzinationen von Prints, Logos und Stofftexturen.
• Abweichung vom ursprünglichen Winkel.
• Abhängigkeit von externen APIs mit Risiko von SLA-Verletzungen.

Inpainting mit Masken von DensePose, YOLO oder SegmentAnything behebt das Problem teilweise, erfordert aber lokale Inferenz für Zuverlässigkeit. Feinabstimmung mit LPIPS und SSIM verbessert die Qualität.

Warp-basierte vs. warp-freie Architekturen

Diffusionspipelines für Virtual Try-On lassen sich in zwei Kategorien einteilen.

Warp-basiert (Kleidungsverformung):

Der Algorithmus wendet Thin-Plate Spline oder Flussfelder an, um das flache Kleidungsbild auf den Körper zu überlagern. Diffusion glättet Artefakte.

Vorteile:

• Präzise Erhaltung von Texturen und Details (Muster, Logos).

Nachteile:

• Artefakte bei komplexen Posen oder verrauschten Fotos.
• Probleme bei Kleidung unterschiedlicher Länge (T-Shirt über Hemd).

Warp-frei (Attention-basiert):

Das Kleidungsbild wird in Features kodiert und über Cross-Attention im UNet mit IP-Adapter weitergeleitet. Eine Maske definiert den Inpainting-Bereich.

Vorteile:

• Natürliche Falten, Schatten und Beleuchtung.
• Funktioniert mit realweltlichen Fotos aus Umkleidekabinen.

Nachteile:

• Verschwommenheit komplexer Muster und Texte.

IDM-VTON: Grundlage der Struktur

IDM-VTON ist ein warp-freies Modell mit zwei UNetzen: GarmentNet kodiert die Kleidung, TryonNet erzeugt das Ergebnis. Features werden in Self-Attention-Schichten injiziert.

Das Modell bildet die globale Struktur: Ärmelkonturen, Silhouette auf Pose, Beleuchtungsverlauf. Nach Feinabstimmung auf DressCode- und VITON-HD-Datensätzen verbesserten sich LPIPS- und SSIM-Werte für Nicht-Studio-Fotos.

Leffa: Texturdetaillierung

Leffa integriert Warp-Logik in Attention-Schichten über Flussfelder. DensePose liefert 3D-Körpergeometrie, und das Modell projiziert Texturen unter Berücksichtigung der Geometrie.

Die optimierte Version ohne Posen-Generierung reduziert den VRAM-Verbrauch um 40 %. Leffa stellt Schärfe bei Prints, Texturen und Falten wieder her.

Implementierung der hybriden Inferenz

Die Hybride nutzt einen iterativen Diffusionsdenoising-Prozess.

• Erste 25–40 % der Schritte (IDM-VTON): Noisy Latent + Maske von DensePose. Bildet eine korrekte Silhouette ohne Körperartefakte.

• Verbleibende Schritte (Leffa): Das Latent wird an Leffa weitergeleitet zur Texturverfeinerung auf der fertigen Geometrie.

Das kombiniert warp-freie Natürlichkeit mit warp-basierter Detailtreue. Die Inferenzzeit ist niedriger als bei FLUX+LoRA.

Ergebnisse:

• IDM-VTON: Korrekte Formen, schwache Details.
• Leffa: Scharfe Texturen, Konturartefakte.
• Hybrid: Ausgewogenheit von Struktur und Details, funktioniert in realweltlichen Szenarien.

Wichtige Erkenntnisse

• Die hybride Pipeline minimiert Körperartefakte und erhält Texturen.
• Lokale Inferenz gewährleistet SLA im Einzelhandel.
• Feinabstimmung auf realen Datensätzen verbessert LPIPS/SSIM.
• Leffa-Optimierung reduziert VRAM um 40 %.
• Der Ansatz funktioniert für verschiedene Kleidungsarten ohne Retraining.

— Editorial Team