[논문리뷰] GenCompositor: Generative Video Compositing with Diffusion Transformer

링크: 논문 PDF로 바로 열기

저자: Shuzhou Yang, Xiaoyu Li, Xiaodong Cun, Guangzhi Wang, Lingen Li, Ying Shan, Jian Zhang

핵심 연구 목표

본 논문은 기존의 수동적이고 노동 집약적인 비디오 합성(Video Compositing) 과정을 생성형 모델을 사용하여 자동화하는 것을 목표로 합니다. 특히, 사용자 정의된 크기, 움직임 궤적 및 기타 속성을 기반으로 전경 비디오의 정체성과 움직임을 대상 비디오에 적응적으로 주입하여 배경 일관성을 유지하고 전경 요소의 동적 특성을 보존하는 새로운 생성형 비디오 합성(Generative Video Compositing) 태스크를 제시합니다.

핵심 방법론

제안된 GenCompositor는 Diffusion Transformer (DiT) 파이프라인을 기반으로 설계되었습니다. 주요 구성 요소로는 결과 비디오의 배경 일관성을 보장하는 경량 DiT 기반 배경 보존 브랜치 (masked token injection 포함), 동적 전경 요소를 주입하기 위한 전체 self-attention 기반 DiT 퓨전 블록, 그리고 사용자 제어에 따라 레이아웃이 다른 비디오를 융합하기 위한 확장형 회전 위치 임베딩 (Extended Rotary Position Embedding, EROPE)이 있습니다. 훈련 시에는 luminance augmentation과 mask inflation을 적용하여 모델의 일반화 및 견고성을 향상시켰으며, 61K 세트의 비디오로 구성된 새로운 VideoComp 데이터셋을 구축했습니다.

주요 결과

GenCompositor는 기존의 유사한 솔루션들을 뛰어넘는 성능을 보였습니다. 비디오 조화(Video Harmonization) 태스크에서 PSNR 42.0010, SSIM 0.9487, CLIP 0.9713, LPIPS 0.0385를 달성하여 Harmonizer 및 VideoTripletTransformer보다 우수했습니다. 궤적 제어 생성(Trajectory-controlled generation)에서는 주체 일관성(Subject Consistency) 89.75%, 배경 일관성(Background Consistency) 93.43%, 움직임 부드러움(Motion Smoothness) 98.69%, 심미적 품질(Aesthetic Quality) 52.00%을 기록하며 Tora와 Revideo를 능가했습니다.

AI 실무자를 위한 시사점

이 연구는 비디오 편집 작업에 AI 자동화를 도입하여 수작업의 부담을 크게 줄일 수 있는 실용적인 해결책을 제시합니다. DiT 기반 아키텍처와 EROPE와 같은 혁신적인 위치 임베딩 기법은 다양한 조건(예: 레이아웃 불일치)에서 고품질의 콘텐츠를 생성해야 하는 AI 엔지니어들에게 중요한 참조점이 됩니다. 또한, VideoComp 데이터셋은 향후 생성형 비디오 합성 및 편집 연구의 발전에 기여할 수 있는 귀중한 자원이 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.