[논문리뷰] AMFT: Aligning LLM Reasoners by Meta-Learning the Optimal Imitation-Exploration Balance

링크: 논문 PDF로 바로 열기

저자: Lixuan He, Jie Feng, Yong Li

핵심 연구 목표

대규모 언어 모델(LLM)이 추론 태스크에서 겪는 catastrophic forgetting 및 모방(imitation)과 탐색(exploration) 간의 최적화되지 않은 트레이드오프 문제를 해결하는 것이 목표입니다. 기존의 이단계(SFT 후 RL) 또는 휴리스틱 기반 단일 단계 접근 방식의 한계를 극복하고, SFT와 RL의 균형을 원칙적으로 동적으로 조절하는 방법을 제안합니다.

핵심 방법론

본 논문은 SFT의 암시적 경로 기반 보상과 RL의 명시적 결과 기반 보상 간의 균형을 학습하는 단일 단계 알고리즘인 Adaptive Meta Fine-Tuning (AMFT)를 제안합니다. 핵심은 SFT-RL 균형을 학습 가능한 파라미터($\mu$)로 처리하는 메타-그라디언트 적응형 가중치 컨트롤러입니다. 이 컨트롤러는 정책 엔트로피로 안정화되며 장기적인 태스크 성능을 극대화하도록 $\mu$를 동적으로 최적화합니다.

주요 결과

AMFT는 수학적 추론, 추상적 시각 추론 (General Points), 시각-언어 내비게이션 (V-IRL) 등 다양한 벤치마크에서 새로운 SOTA (State-Of-The-Art) 성능을 달성했습니다. 특히 수학적 추론 (In-distribution)에서 63.3% 정확도를 기록하며 기존의 LUFFY(55.4%) 및 R-eLIeFT(59.5%)와 같은 SOTA 방법론을 뛰어넘었습니다. 또한, 기존 순차적 SFT-RL 방식과 유사한 성능을 더 적은 훈련 스텝과 더 적은 RL 롤아웃으로 달성하여 효율성도 입증했습니다.

AI 실무자를 위한 시사점

AMFT는 LLM을 복잡한 추론 태스크에 미세 조정하는 데 있어 더욱 견고하고 효율적인 방법을 제공합니다. 이는 SFT와 RL 간의 휴리스틱한 균형 조절의 필요성을 줄여주며, 일반화 능력(OOD)을 향상시킴으로써 실제 AI 애플리케이션에 매우 유용합니다. 훈련 단계와 RL 롤아웃 감소는 개발 시간과 컴퓨팅 비용을 절감하고, LLM 미세 조정 프로세스를 단순화하는 데 기여할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.