VOID: 확산을 사용한 비디오에서 객체 제거

Netflix의 VOID: 비디오에서 객체 제거를 위한 잠재 확산

넷플릭스가 오픈소스 프레임워크 VOID(Video Object Inpainting and Decomposition)를 공개했습니다. 이 프레임워크는 잠재 확산을 활용해 비디오에서 객체를 제거하는 작업을 처리합니다. 모델은 장면을 배경 레이어와 동적 마스크로 분해하여 깊이와 원근감을 고려한 재구성을 보장합니다. 이는 고전적인 방법에서 흔히 발생하는 깜빡임이나 떠 있는 텍스처 같은 아티팩트를 없앱니다.

VOID 아키텍처와 메커니즘

VOID는 비디오 확산 모델의 핵심 과제인 시간적 일관성에 초점을 맞춥니다. 특화된 어텐션 메커니즘은 프레임 간 연결을 분석해 동적 장면의 아티팩트를 최소화합니다. 벤치마크 테스트에서 이 모델은 ProPainter를 앞지르며, 빠른 카메라 움직임이나 객체 가림 상황에서도 안정적인 마스크 채우기를 보여줍니다.

아키텍처는 PyTorch 기반 모듈러 파이프라인으로 구성되었으며 Diffusers와의 통합을 지원합니다. 얇은 선부터 큰 객체까지 모든 복잡도의 마스크를 처리할 수 있습니다. 단계별 추론 과정은 텍스처 세부 사항을 유지하면서도 전체 컨텍스트를 잃지 않습니다.

리소스 요구사항과 최적화

기본 실행에는 40 GB VRAM을 탑재한 NVIDIA A100이 필요합니다. 접근성을 높이기 위해 다음과 같은 최적화 기능이 구현되었습니다:

• model_cpu_offload: 비활성 모델 부분을 RAM으로 오프로드합니다.
• sequential_cpu_offload: 24 GB VRAM(RTX 3090/4090)에서 순차 처리 지원.

# Example run with offload
pipe = StableDiffusionInpaintPipeline.from_pretrained(
    "netflix/void",
    torch_dtype=torch.float16
)
pipe.enable_model_cpu_offload()  # or enable_sequential_cpu_offload()

모델 가중치와 코드는 GitHub에서 제공되어 VFX 파이프라인 통합과 미세 조정을 쉽게 할 수 있습니다.

포스트 프로덕션에서의 응용

VOID는 로토스코핑과 클린업 같은 가장 노동 집약적인 단계를 자동화합니다. 분해 기능 덕분에 단순히 덮어쓰는 게 아니라 장면을 일관되게 재구성할 수 있습니다. 개발자 입장에서는 영화 제작 맞춤 도구의 기반이 됩니다.

모션이 복잡한 비디오 테스트에서 VOID는 다음 결과를 보였습니다:

• ProPainter 대비 40% 깜빡임 감소.
• 전경 객체 제거 시 원근감 보존.
• 긴 시퀀스에서도 품질 저하 없이 확장 가능.

주요 포인트

• 레이어 분해로 동적 장면에서 시간적 안정성 보장.
• Diffusers 통합으로 기존 파이프라인 사용 간편.
• 최적화로 소비자 GPU(24 GB VRAM) 실행 가능.
• 빠른 모션 비디오 벤치마크에서 SOTA 능가.
• GitHub 오픈소스 코드로 미세 조정 및 확장 용이.

이 프레임워크는 비디오 인페인팅 접근 방식을 바꿔 중·고급 VFX 개발자들에게 접근성을 제공합니다.

— Editorial Team