[논문리뷰] AMFT: Aligning LLM Reasoners by Meta-Learning the Optimal Imitation-Exploration Balance

2025년 8월 14일수정: 2025년 8월 14일

링크: 논문 PDF로 바로 열기

저자: Lixuan He, Jie Feng, Yong Li

핵심 연구 목표

대규모 언어 모델(LLM)이 추론 태스크에서 겪는 catastrophic forgetting 및 **모방(imitation)**과 탐색(exploration) 간의 최적화되지 않은 트레이드오프 문제를 해결하는 것이 목표입니다. 기존의 이단계(SFT 후 RL) 또는 휴리스틱 기반 단일 단계 접근 방식의 한계를 극복하고, SFT와 RL의 균형을 원칙적으로 동적으로 조절하는 방법을 제안합니다.

핵심 방법론

본 논문은 SFT의 암시적 경로 기반 보상과 RL의 명시적 결과 기반 보상 간의 균형을 학습하는 단일 단계 알고리즘인 **Adaptive Meta Fine-Tuning (AMFT)**를 제안합니다. 핵심은 SFT-RL 균형을 **학습 가능한 파라미터($\mu$)**로 처리하는 메타-그라디언트 적응형 가중치 컨트롤러입니다. 이 컨트롤러는 정책 엔트로피로 안정화되며 장기적인 태스크 성능을 극대화하도록 $\mu$를 동적으로 최적화합니다.

주요 결과

AMFT는 수학적 추론, 추상적 시각 추론 (General Points), 시각-언어 내비게이션 (V-IRL) 등 다양한 벤치마크에서 새로운 SOTA (State-Of-The-Art) 성능을 달성했습니다. 특히 수학적 추론 (In-distribution)에서 63.3% 정확도를 기록하며 기존의 LUFFY(55.4%) 및 R-eLIeFT(59.5%)와 같은 SOTA 방법론을 뛰어넘었습니다. 또한, 기존 순차적 SFT-RL 방식과 유사한 성능을 더 적은 훈련 스텝과 더 적은 RL 롤아웃으로 달성하여 효율성도 입증했습니다.

AI 실무자를 위한 시사점

AMFT는 LLM을 복잡한 추론 태스크에 미세 조정하는 데 있어 더욱 견고하고 효율적인 방법을 제공합니다. 이는 SFT와 RL 간의 휴리스틱한 균형 조절의 필요성을 줄여주며, **일반화 능력(OOD)**을 향상시킴으로써 실제 AI 애플리케이션에 매우 유용합니다. 훈련 단계와 RL 롤아웃 감소는 개발 시간과 컴퓨팅 비용을 절감하고, LLM 미세 조정 프로세스를 단순화하는 데 기여할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.