[논문리뷰] RLinf-VLA: A Unified and Efficient Framework for VLA+RL Training

링크: 논문 PDF로 바로 열기

저자: Hongzhi Zang, Mingjie Wei, Si Xu, Yongji Wu, Zhen Guo, Yuanqing Wang, Hao Lin, Liangzhi Shi, Yuqing Xie, Zhexuan Xu, Zhihao Liu, Kang Chen, Wenhao Tang, Quanlu Zhang, Weinan Zhang, Chao Yu, Ziyi Xu, Yu Wang

핵심 연구 목표

본 논문은 Vision-Language-Action (VLA) 모델에 강화 학습(RL)을 적용할 때 발생하는 소규모 및 파편화된 실험의 문제점을 해결하고자 합니다. 대규모 실험을 지원하고 다양한 모델, 알고리즘, 평가 설정 간의 공정한 비교를 가능하게 하는 통합적이고 효율적인 프레임워크를 제공하는 것을 목표로 합니다.

핵심 방법론

RLinf-VLA 프레임워크는 OpenVLA, OpenVLA-OFT와 같은 다양한 VLA 아키텍처, PPO, GRPO 알고리즘, ManiSkill, LIBERO 시뮬레이터를 통합합니다. 특히, 렌더링, 훈련, 추론의 효율적 통합을 위해 colocated, disaggregated, hybrid 세 가지 GPU 할당 모드를 도입했으며, 정교한 파이프라이닝 메커니즘과 경량 크리틱, 손실 정규화, 액션 마스킹 등의 알고리즘적 개선을 포함합니다.

주요 결과

RLinf-VLA는 기존 프레임워크 대비 2.27배 높은 처리량을 달성했으며, GPU 병렬 시뮬레이터에서는 1.61배–1.88배의 속도 향상을 보였습니다. 시뮬레이션 환경에서 단일 통합 모델이 130개 LIBERO 태스크에서 98.11% 성공률, 25개 ManiSkill 태스크에서 97.66% 성공률을 기록했습니다. 실제 환경에서는 RL 훈련 정책이 SFT 모델 대비 우수한 제로샷 일반화 능력을 보여주며 (RL 8/30 성공 vs. SFT 0/30 성공), 액션 레벨 가치 추정 및 부분 리셋이 PPO 성능에 필수적임을 입증했습니다.

AI 실무자를 위한 시사점

RLinf-VLA는 VLA+RL 연구를 가속화하고 표준화할 수 있는 강력한 오픈소스 기반을 제공합니다. 특히, 다양한 시뮬레이터 유형에 최적화된 유연한 GPU 리소스 관리 전략을 제시하여 AI 엔지니어들이 실제 배포에서 직면하는 효율성 문제를 해결하는 데 기여합니다. 또한, PPO 및 GRPO 훈련에 대한 실용적인 모범 사례와 Sim-to-Real 이전의 성공적인 결과는 로봇 공학 및 embodied AI 분야의 발전을 촉진할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.