[논문리뷰] Reinforcement Learning on Pre-Training Data

링크: 논문 PDF로 바로 열기

저자: Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang

핵심 연구 목표

논문은 대규모 언어 모델(LLM)의 훈련 시 발생하는 컴퓨팅 자원의 기하급수적 증가와 고품질 텍스트 데이터의 유한한 성장 사이의 불균형 문제를 해결하고자 합니다. 인간의 어노테이션에 의존하지 않고 사전 훈련 데이터에서 직접 보상 신호를 도출하는 **RLPT(Reinforcement Learning on Pre-Training data)**라는 새로운 훈련 시간 스케일링 패러다임을 제안하여 LLM의 역량과 일반화된 추론 능력을 향상시키는 것을 목표로 합니다.

핵심 방법론

RLPT는 **다음 세그먼트 추론(next-segment reasoning)**을 RL 목표로 사용하며, 정책이 선행 컨텍스트를 기반으로 후속 텍스트 세그먼트를 정확하게 예측하도록 보상합니다. 이를 위해 ASR(Autoregressive Segment Reasoning) 및 MSR(Middle Segment Reasoning) 두 가지 세그먼트 수준 훈련 목표를 도입하고, 예측된 세그먼트와 참조 세그먼트 간의 **의미론적 일관성(semantic consistency)**을 평가하는 생성형 보상 모델(generative reward model) Grm을 활용합니다. 특히 Grm은 예측 세그먼트가 참조 콘텐츠의 유효한 접두사인지 확인하여 엄격한 단어 일치 대신 유연한 보상 구조를 제공합니다.

주요 결과

Qwen3-4B-Base 모델에 적용했을 때, RLPT는 MMLU에서 3.0%p, MMLU-Pro에서 5.1%p, GPQA-Diamond에서 8.1%p, KOR-Bench에서 6.0%p, AIME24에서 6.6%p, AIME25에서 5.3%p의 절대 성능 향상을 달성했습니다. 또한, RLVR와 함께 사용될 경우 AIME24에서 2.3%p, AIME25에서 1.3%p의 추가적인 Pass@1 성능 개선을 보였습니다. RLPT의 성능은 훈련 토큰 수에 따라 멱법칙(power-law decay) 스케일링 특성을 따르며, 이는 지속적인 성능 향상 가능성을 시사합니다.

AI 실무자를 위한 시사점

RLPT는 대규모 사전 훈련 데이터에서 RL을 직접 적용할 수 있는 길을 열어, 기존 RLHF나 RLVR의 인간 어노테이션 의존성이라는 주요 한계를 극복합니다. 이 방법론은 LLM이 더 깊은 추론 능력을 탐색하고 일반화 능력을 향상시키는 데 기여하며, 특히 수학적 추론과 같은 복잡한 도메인에서 효과적임을 보여줍니다. 멱법칙 스케일링은 컴퓨팅 자원을 추가함에 따라 RLPT의 성능이 지속적으로 개선될 수 있음을 의미하므로, AI 모델 개발자들에게 LLM의 잠재력을 최대한 활용할 수 있는 중요한 방향을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.