[논문리뷰] The Quest for Generalizable Motion Generation: Data, Model, and Evaluation

링크: 논문 PDF로 바로 열기

저자: Jing Lin, Ruisi Wang, Junzhe Lu, Ziqi Huang, Guorui Song, Ailing Zeng, Xian Liu, Chen Wei, Wanqi Yin, Qingping Sun, Zhongang Cai, Lei Yang, Ziwei Liu

핵심 연구 목표

본 논문은 3D 인간 모션 생성(MoGen) 모델이 기존 벤치마크에서는 뛰어난 성능을 보이나, 다양하고 새로운 명령에 대한 일반화 능력이 현저히 부족하다는 근본적인 문제점을 해결하고자 합니다. 비디오 생성(ViGen) 분야의 성공적인 일반화 능력에서 통찰력을 얻어, 데이터, 모델링, 평가의 세 가지 핵심 축을 통해 MoGen의 일반화 능력을 향상시키는 것을 목표로 합니다.

핵심 방법론

연구팀은 먼저 ViMoGen-228K라는 228,000개의 고품질 모션 샘플로 구성된 대규모 데이터셋을 구축했습니다. 이 데이터셋은 Optical MoCap, 웹 비디오 파생 모션, 최신 ViGen 모델로 생성된 합성 샘플을 통합합니다. 모델 측면에서는 ViMoGen이라는 flow-matching 기반 diffusion transformer를 제안했습니다. 이 모델은 gated multimodal conditioning을 통해 MoCap 및 ViGen 모델의 사전 지식을 효율적으로 통합하며, 비디오 생성 의존성을 제거한 경량화 버전인 ViMoGen-light도 개발했습니다. 마지막으로, 모션 품질, 프롬프트 충실도, 일반화 능력을 포괄적으로 평가하는 MBench라는 계층적 벤치마크를 제시했습니다.

주요 결과

제안된 ViMoGen 모델은 자동 및 인간 평가 모두에서 기존 접근 방식을 상당히 능가하는 성능을 입증했습니다. 특히, Motion Condition Consistency에서 0.53 (ViMoGen) 대 0.48 (MotionLCM), Motion Generalizability에서 0.68 (ViMoGen) 대 0.55 (MotionLCM)로 SOTA를 달성했습니다. 경량화된 ViMoGen-light 모델 또한 비디오 생성 의존성 없이 Motion Generalizability에서 0.55를 달성하여 강력한 일반화 능력을 유지했습니다. 데이터셋 구성 실험에서는 합성 비디오 데이터 추가 시 일반화 점수가 0.50에서 0.55로 크게 향상되어 semantic 다양성의 중요성을 확인했습니다.

AI 실무자를 위한 시사점

본 연구는 대규모의 다양한 데이터셋(ViMoGen-228K) 구축과 합성 데이터의 전략적 활용이 모션 생성 모델의 일반화 능력 향상에 매우 중요함을 강조합니다. 비디오 생성 모델의 사전 지식을 활용하는 gated multimodal conditioning 아키텍처는 복잡한 인간 행동을 모델링하는 효과적인 접근 방식을 제시하며, 이는 향후 범용 모션 파운데이션 모델 개발에 기여할 수 있습니다. 또한, **경량화된 distilled 모델(ViMoGen-light)**은 계산 효율성을 유지하면서 강력한 성능을 제공하여 실제 AI 애플리케이션에 적용 가능성을 높입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.