[논문리뷰] Ferret-UI Lite: Lessons from Building Small On-Device GUI Agents

링크: 논문 PDF로 바로 열기

저자: Zhen Yang, Zi-Yi Dou, Di Feng, Forrest Huang, Anh Nguyen, Keen You, Omar Attia, Yuhao Yang, Michael Feng, Haotian Zhang, Ram Ramrakhya, Chao Jia, Jeffrey Nichols, Alexander Toshev, Yinfei Yang, Zhe Gan*

핵심 연구 목표

본 논문은 낮은 지연 시간, 강력한 프라이버시 보장 및 제한된 연결성 환경에서 견고한 동작을 요구하는 온디바이스 GUI 에이전트 개발의 과제를 해결하고자 합니다. 특히, 기존 대규모 서버측 모델 중심의 접근 방식과 달리 소형 온디바이스 모델인 Ferret-UI Lite를 개발하여 경쟁력 있는 성능을 달성하는 것을 목표로 합니다.

핵심 방법론

Ferret-UI Lite는 3B 파라미터를 가진 종단 간 멀티모달 LLM으로 구축되었습니다. 주요 방법론에는 실제 및 합성 GUI 데이터 혼합을 통한 다양한 GUI 데이터 큐레이션, 이미지 크롭 및 확대 기능을 활용한 추론 시간 시각적 도구 사용(visual tool-use), 그리고 **지도 미세 조정(SFT)**과 **검증 가능한 보상 기반 강화 학습(RLVR)**을 결합한 2단계 훈련 전략이 포함됩니다. 특히 RL 단계에서는 예측이 정답 바운딩 박스 안에 들어올 경우 양성 보상을 부여하는 컨테인먼트 기반 보상을 사용합니다.

주요 결과

GUI 그라운딩 태스크에서 **Ferret-UI Lite (3B)**는 ScreenSpot-V2에서 91.6%, ScreenSpot-Pro에서 53.3%, OSWorld-G에서 **61.2%**의 정확도를 달성하여 다른 소형 모델들을 능가하고 일부 대형 모델과도 경쟁력 있는 성능을 보여주었습니다. GUI 내비게이션 태스크에서는 AndroidWorld에서 28.0%, OSWorld에서 **19.8%**의 성공률을 기록하여 7B 모델들과 유사한 성능을 보였으나, 장기적인 추론이 필요한 멀티스텝 내비게이션에서는 여전히 제한적인 성능을 나타냈습니다.

AI 실무자를 위한 시사점

본 연구는 소형 온디바이스 멀티모달 LLM으로도 GUI 에이전트의 강력한 그라운딩 및 내비게이션 성능을 달성할 수 있음을 입증하여 온디바이스 AI 개발의 가능성을 제시합니다. 다양한 데이터 큐레이션, 추론 시간 시각적 도구 사용, 그리고 신중하게 설계된 SFT-RLVR 훈련 전략이 소형 모델 성능 향상에 핵심적임을 강조합니다. 다만, 멀티스텝 내비게이션과 같은 복잡한 장기 추론 과제는 여전히 소형 모델의 주요 도전 과제로 남아있으므로 이에 대한 추가 연구가 필요합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.