VOID：使用扩散模型从视频中移除物体

Netflix 的 VOID：用于从视频中移除物体的潜在扩散

Netflix 发布了开源框架 VOID（视频物体修复与分解），它使用潜在扩散模型处理从视频中移除物体的任务。该模型将场景分解为背景层和动态遮罩，确保重建过程考虑深度和透视关系，从而消除传统方法常见的伪影，如闪烁和浮动纹理。

VOID 架构与机制

VOID 专注于时序一致性——这是视频扩散模型面临的关键挑战。专用的注意力机制分析帧间连接，最大限度减少动态场景中的伪影。在基准测试中，该模型优于 ProPainter：即使在快速相机移动或物体遮挡的情况下，也能实现稳定的遮罩填充。

该架构采用模块化管道构建，基于 PyTorch 并与 Diffusers 集成。它支持任意复杂度的遮罩——从细线到大物体。逐步推理过程保留了纹理细节，同时不丢失上下文。

资源需求与优化

基础运行需要配备 40 GB 显存的 NVIDIA A100。为提升可访问性，已实现以下优化：

• model_cpu_offload：将非活跃模型部分卸载至内存。
• sequential_cpu_offload：顺序处理，支持 24 GB 显存（RTX 3090/4090）。

# Example run with offload
pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "netflix/void",
    torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()  # or enable_sequential_cpu_offload()

模型权重和代码可在 GitHub 上获取，便于集成到 VFX 工作流程并进行微调。

后期制作中的应用

VOID 自动化了抠像和清理工作——这些是最耗费劳动力的阶段。场景分解不仅允许简单覆盖绘制，还能连贯重建整个场景。对开发者而言，它是电影制作中自定义工具的基础。

在具有运动的复杂视频测试中，VOID 展现出：

• 与 ProPainter 相比，闪烁减少 40%。
• 移除前景物体时保留透视关系。
• 可扩展至长序列，而不降低质量。

关键点

• 层分解确保动态场景中的时序稳定性。
• 与 Diffusers 集成，简化现有工作流程的使用。
• 优化支持消费级 GPU（24 GB 显存）运行。
• 在快速运动视频基准测试中优于最先进水平。
• GitHub 上提供开源代码，支持微调和扩展。

该框架改变了视频修复的方法，使其中级和高级 VFX 开发者都能轻松上手。

— Editorial Team