[논문리뷰] CharacterShot: Controllable and Consistent 4D Character Animation

링크: 논문 PDF로 바로 열기

저자: Junyao Gao, Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao

핵심 연구 목표

본 논문은 단일 캐릭터 이미지와 2D 포즈 시퀀스를 입력으로 받아, 사용자가 제어할 수 있는 동적인 3D 캐릭터(4D 캐릭터 애니메이션)를 생성하는 프레임워크인 CharacterShot을 제안합니다. 이는 기존 CGI 파이프라인의 높은 비용과 수동적 노력을 줄이고, 공간-시간적 및 공간-뷰 일관성을 유지하는 4D 애니메이션을 실현하는 것을 목표로 합니다.

핵심 방법론

CharacterShot은 먼저 DiT 기반 I2V 모델 (CogVideoX)을 사전 훈련하여 2D 캐릭터 애니메이션을 포즈 제어 가능하게 만듭니다. 이후 듀얼-어텐션 모듈과 카메라 사전 정보를 도입하여 2D 모델을 3D 다중-뷰 비디오 생성으로 확장하여 공간-시간적 및 공간-뷰 일관성을 확보합니다. 마지막으로, 이웃 제약 4D Gaussian Splatting (4DGS) 최적화를 적용하여 다중-뷰 비디오에서 연속적이고 안정적인 4D 캐릭터 표현을 생성합니다. 또한, 대규모 Character4D 데이터셋 (13,115개 고유 캐릭터)을 구축하여 캐릭터 중심 성능을 향상시켰습니다.

주요 결과

제안된 CharacterShot은 새로 구축된 CharacterBench 벤치마크에서 기존 SOTA 방법론들을 뛰어넘는 성능을 보였습니다. 다중-뷰 비디오 합성에 있어서 SSIM 0.967, LPIPS 0.021, CLIP-S 0.957, FV4D 490.457의 정량적 지표를 달성하여 다른 모델들(예: Diffusion2의 FV4D 1392.323)보다 월등히 높은 일관성을 보였습니다. 4D 생성에서도 SSIM 0.971, LPIPS 0.025, FV4D 406.624를 기록하며 우수성을 입증했습니다.

AI 실무자를 위한 시사점

CharacterShot은 단일 이미지만으로 복잡한 4D 캐릭터 애니메이션을 가능하게 하여 AI/ML 엔지니어와 콘텐츠 크리에이터에게 저비용 고효율의 CGI 파이프라인을 제공합니다. 제안된 Character4D 데이터셋과 CharacterBench 벤치마크는 향후 4D 애니메이션 연구 및 개발에 귀중한 자원이 될 것입니다. 다만, 크게 부정확한 포즈 입력에 대한 애니메이션은 여전히 개선의 여지가 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.