[논문리뷰] Ponimator: Unfolding Interactive Pose for Versatile Human-human Interaction Animation

링크: 논문 PDF로 바로 열기

저자: Shaowei Liu*, Chuan Guo†, Bing Zhou²†, Jian Wang²†

핵심 연구 목표

본 연구는 기존 상호작용 애니메이션 모델이 근접 상호작용의 동적 맥락을 파악하고 다양한 입력 유형에 대한 일반화 능력이 부족하다는 문제점을 해결하고자 합니다. 상호작용 포즈에 내재된 다이내믹스 사전 지식(dynamics priors)을 활용하여 다목적 인간-인간 상호작용 애니메이션을 생성하는 Ponimator 프레임워크를 제안하는 것이 목표입니다.

핵심 방법론

Ponimator는 두 가지 조건부 확산 모델로 구성됩니다. 첫째, 포즈 애니메이터는 Inter-X [65] 및 **Dual-Human [7]**과 같은 고품질 모션 캡처 데이터에서 학습된 시간적 사전 지식(temporal prior)을 사용하여 대화형 포즈에서 동적 모션 시퀀스를 생성합니다. 둘째, 포즈 생성기는 단일 포즈, 텍스트 또는 둘 모두와 같은 다양한 입력에서 대화형 포즈를 합성하기 위해 공간적 사전 지식(spatial prior)을 활용합니다. 두 모델 모두 Diffusion Transformer (DiT) [41] 아키텍처를 기반으로 하며, 확산 손실(LD), SMPL 손실(Lsmp1), 상호작용 손실(Linter) [31], 및 **속도 손실(Lvel) [59]**을 포함한 다중 손실 함수로 훈련됩니다.

주요 결과

Ponimator는 Inter-X 데이터셋에서 비구속 상호작용 합성 시 FID 22.6과 **접촉률(CR) 68.1%**를 달성하여 기존 방법론들을 능가했습니다. 특히 상호작용 포즈 애니메이션 태스크에서는 FID 5.0, Diversity 9.9, CR 68.5%, Penetration 5.1cm를 기록하며 안정적이고 사실적인 모션 생성 능력을 입증했습니다. 또한 텍스트-상호작용 합성에서도 FID 1.82와 MModality 1.46으로 우수한 성능을 보였습니다.

AI 실무자를 위한 시사점

본 연구는 인터랙티브 포즈를 핵심 요소로 활용하여 복잡한 인간 상호작용 애니메이션의 사실성과 일반화 성능을 크게 향상시킬 수 있음을 보여줍니다. Conditional Diffusion Model을 통해 다양한 입력(이미지, 텍스트)으로부터 유연하게 상호작용을 생성하는 능력은 AI 기반 콘텐츠 제작, 가상 현실, 게임 개발 등 다양한 분야에서 새로운 가능성을 제시합니다. 특히, 고품질 모션 캡처 데이터에서 학습된 사전 지식을 오픈-월드 시나리오에 효과적으로 전이하는 방식은 실제 서비스 적용에 있어 모델의 강건성과 효율성을 높이는 중요한 이점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.