AI 虚拟试衣：混合 IDM-VTON 和 Leffa

混合虚拟试衣流水线：结合 IDM-VTON 和 Leffa 用于电商

扩散模型驱动的虚拟试衣技术，使得电商中的服装试穿变得逼真。开发者将无变形 IDM-VTON 模型和基于变形的 Leffa 结合成一个混合流水线。这保留了姿势结构、面部表情和细节纹理，同时满足移动应用和智能镜子的服务水平协议要求。

通用生成器的局限性

像 DALL-E 或 Nano Banana 这样的模型，无法满足时尚品牌的严格要求。即使使用详细提示，它们也会扭曲角度、身体比例和面部表情。主要问题：

• 模型面部和姿势的变化。
• 印花、标志和面料纹理的幻觉生成。
• 与原始角度不匹配。
• 依赖外部 API，有服务水平协议违规风险。

使用来自 DensePose、YOLO 或 SegmentAnything 的蒙版进行修复绘画部分解决了问题，但为了可靠性需要本地推理。使用 LPIPS 和 SSIM 微调可提升质量。

基于变形 vs 无变形架构

虚拟试衣的扩散流水线分为两类。

基于变形（服装变形）：

算法使用 Thin-Plate Spline 或流场将平面服装图像叠加到身体上。扩散过程平滑伪影。

优点：

• 精确保留纹理和细节（图案、标志）。

缺点：

• 复杂姿势或噪声照片产生伪影。
• 不同长度服装问题（T恤叠穿衬衫）。

无变形（基于注意力）：

服装图像编码成特征，通过带有 IP-Adapter 的 UNet 中的跨注意力传递。蒙版定义修复区域。

优点：

• 自然的褶皱、阴影和光照。
• 适用于试衣间真实场景照片。

缺点：

• 复杂图案和文字模糊。

IDM-VTON：结构基础

IDM-VTON 是一个无变形模型，包含两个 UNet：GarmentNet 编码服装，TryonNet 生成结果。特征注入到自注意力层。

该模型形成全局结构：袖子轮廓、姿势上的剪影、光照衰减。在 DressCode 和 VITON-HD 数据集上微调后，LPIPS 和 SSIM 指标在非摄影棚照片上得到提升。

Leffa：纹理细节

Leffa 通过流场将变形逻辑集成到注意力层。DensePose 提供 3D 身体几何，模型根据几何投影纹理。

优化版本去除姿势生成，显存减少 40%。Leffa 恢复印花、纹理和褶皱的锐度。

实现混合推理

混合使用迭代扩散去噪过程。

• 前 25–40% 步（IDM-VTON）： 噪声潜在表示 + 来自 DensePose 的蒙版。形成正确的轮廓，无身体伪影。

• 剩余步（Leffa）： 潜在表示传递给 Leffa，在就绪几何上精炼纹理。

这结合了无变形的自然性和基于变形的细节。推理时间低于 FLUX+LoRA。

结果：

• IDM-VTON：正确形状，细节薄弱。
• Leffa：锐利纹理，轮廓伪影。
• 混合：结构与细节平衡，适用于真实场景。

关键要点

• 混合流水线最小化身体伪影并保留纹理。
• 本地推理确保零售服务水平协议。
• 在真实数据集上微调提升 LPIPS/SSIM。
• Leffa 优化减少显存 40%。
• 该方法无需重训适用于各种服装类型。

— Editorial Team