[논문리뷰] LongCat-Video Technical Report

링크: 논문 PDF로 바로 열기

저자: Hongyu Li, Zhuoliang Kang, Qilong Huang, Xunliang Cai, Meituan LongCat Team

핵심 연구 목표

본 논문은 효율적이고 고품질의 장시간 비디오 생성에 중점을 둔 13.6B 파라미터 규모의 기반 비디오 생성 모델 LongCat-Video를 제안합니다. Text-to-Video, Image-to-Video, Video-Continuation 등 다양한 비디오 생성 태스크를 단일 모델로 통합하고, 세계 모델(world models) 구축을 위한 핵심 역량을 확보하는 것을 목표로 합니다.

핵심 방법론

LongCat-Video는 Diffusion Transformer (DiT) 아키텍처를 기반으로 하며, Video-Continuation 태스크에 대한 사전 학습을 통해 긴 비디오의 높은 품질과 시간적 일관성을 유지합니다. 효율적인 추론을 위해 temporal 및 spatial 축을 따라 coarse-to-fine 생성 전략을 사용하고, LoRA refinement expert를 통해 480p, 15fps 비디오를 720p, 30fps로 업스케일링합니다. 또한, Block Sparse Attention 메커니즘을 도입하여 고해상도에서의 연산 효율성을 극대화하며, 다중 보상 RLHF(Group Relative Policy Optimization, GRPO) 훈련을 통해 성능을 강화했습니다.

주요 결과

LongCat-Video는 720p, 30fps 비디오를 단 몇 분 이내에 생성할 수 있으며, 이는 기존 방식 대비 10.1배에서 12.3배의 추론 가속화를 달성합니다. Block Sparse Attention은 표준 Dense Attention 대비 10% 미만의 연산량으로 유사한 생성 품질을 유지합니다. 내부 MOS 평가에서 Visual Quality 및 Overall Quality에서 선도적인 오픈소스 모델 및 일부 상업 모델과 유사하거나 우수한 성능을 보였고, VBench 2.0 벤치마크에서는 **총점 62.11%**로 Commonsense 차원에서 모든 다른 모델을 능가하는 강력한 성능을 입증했습니다.

AI 실무자를 위한 시사점

LongCat-Video는 다양한 비디오 생성 태스크를 단일 모델로 처리할 수 있는 강력한 범용 비디오 생성 모델을 제공합니다. 특히 효율적인 장시간 비디오 생성 능력은 실제 애플리케이션 및 세계 모델 연구에 중요한 돌파구를 마련했습니다. Block Sparse Attention과 RLHF(GRPO) 같은 고급 기술은 고해상도/장시간 비디오 생성의 효율성과 품질을 향상시키려는 AI 엔지니어에게 중요한 참고 자료가 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.