[논문리뷰] Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process

링크: 논문 PDF로 바로 열기

저자: Jiayi Chen, Wenxuan Song, Pengxiang Ding, Ziyang Zhou, Han Zhao, Feilong Tang, Donglin Wang, Haoang Li

핵심 연구 목표

기존 VLA(Vision-Language-Action) 모델이 비전 생성 및 행동 예측을 분리하여 다루거나 외부 전문가에 의존하는 한계를 극복하는 것을 목표로 합니다. 본 연구는 동기식 디노이징(synchronous denoising) 과정을 통해 시각적 생성과 행동 예측을 통합적으로 최적화하여 이해, 생성, 행동 간의 본질적인 시너지를 창출하고자 합니다.

핵심 방법론

제안된 **Unified Diffusion VLA (UD-VLA)**는 **Joint Discrete Denoising Diffusion Process (JD3P)**를 핵심 메커니즘으로 사용합니다. 모든 모달리티를 **이산 토큰화(discrete tokenization)**된 공간에 통합하며, 이미지에는 VQ-기반 시각 토크나이저를, 행동에는 FAST 행동 토크나이저를 활용합니다. 또한, 모달리티 간 풍부한 상호작용과 인과적 주의를 강제하는 하이브리드 어텐션(hybrid attention) 메커니즘을 설계하고, 두 단계 학습 파이프라인 및 추론 시간 최적화 기법(KV-cache, confidence-guided decoding 등)을 도입하여 성능과 효율성을 극대화합니다.

주요 결과

본 모델은 CALVIN, LIBERO, SimplerEnv와 같은 벤치마크에서 최신 기술(SOTA) 성능을 달성했습니다. CALVIN에서 평균 성공 길이 4.64, LIBERO에서 평균 성공률 **92.7%**를 기록했으며, SimplerEnv-WidowX에서 평균 성공률 **62.5%**를 달성했습니다. 특히, 추론 속도 면에서 기존 자기회귀(autoregressive) 방식보다 4배 빠르게 작동하는 효율성을 입증했습니다.

AI 실무자를 위한 시사점

JD3P를 통한 다중 모달리티의 통합 디노이징은 로봇 조작을 위한 지각-계획-행동 루프를 효과적으로 연결하는 강력한 방법을 제시합니다. 4배 빠른 추론 속도는 실시간 로봇 제어 시스템에 적용 가능성을 높여주며, 미래 이미지 생성이 행동 예측을 위한 효과적인 '사고의 연쇄(chain-of-thought)' 역할을 함을 보여줍니다. 이는 Embodied AI 분야에서 다중 모달 모델 설계 및 응용에 중요한 통찰을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.