[논문리뷰] LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training

링크: 논문 PDF로 바로 열기

저자: Yiming Wang, Da Yin, Yuedong Cui, Ruichen Zheng, Zhiqian Li, Zongyu Lin, Di Wu, Xueqing Wu, Chenchen Ye, Yu Zhou, Kai-Wei Chang

핵심 연구 목표

본 논문은 디지털 에이전트 훈련에 필요한 대규모, 고품질 UI 환경 훈련 궤적 데이터의 부족 문제를 해결하고자 합니다. 기존 데이터 수집 방식의 높은 비용과 확장성 한계를 극복하기 위해, LLM 기반 시뮬레이터를 활용하여 다양한 UI 상태와 전환을 합성하는 확장 가능한 패러다임을 제안하는 것을 목표로 합니다.

핵심 방법론

본 연구는 UI-SIMULATOR라는 확장 가능한 패러다임을 제안합니다. 이는 LLM 기반 디지털 세계 시뮬레이터가 이전 UI 상태와 다음 행동을 기반으로 계층적 UI 상태를 생성하며, 가이드 롤아웃 프로세스를 통해 일관성 있는 탐색을 유도합니다. 추가적으로 UI-Simulator-Grow는 teacher-forcing loss 기반으로 고영향 태스크를 식별하고, 해당 태스크의 다양한 궤적 변형을 합성하여 데이터 효율적인 스케일링을 가능하게 합니다.

주요 결과

UI-SIMULATOR는 WebArena 및 AndroidWorld 벤치마크에서 GPT-4o-mini와 같은 약한 티처 모델을 사용했음에도 불구하고, 실제 UI로 훈련된 오픈소스 에이전트와 유사하거나 더 나은 성능을 달성했습니다. 특히, UI-Simulator-Grow는 Llama-3-8B-Instruct를 기반 모델로 사용하여 Llama-3-70B-Instruct와 동등한 성능을 보였으며, 원래 훈련 궤적의 66%만 사용하여 데이터 효율성을 크게 향상시켰습니다.

AI 실무자를 위한 시사점

이 연구는 디지털 에이전트 개발에서 고품질 합성 훈련 데이터를 대규모로 생성하는 확장 가능하고 비용 효율적인 방법을 제시합니다. LLM을 시뮬레이터로 활용하는 패러다임은 에이전트가 다양한 UI 환경에 대한 일반화 및 강건성을 높이는 데 기여하며, UI-Simulator-Grow의 목표 지향적 데이터 합성 전략은 개발 시간과 자원을 크게 절약할 수 있음을 보여줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.