[논문리뷰] TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

링크: 논문 PDF로 바로 열기

저자: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

핵심 연구 목표

텍스트-투-이미지 플로우 매칭 모델의 GRPO(Generalized Policy Rejection Optimization) 훈련이 시간적 균일성 가정과 중간 피드백 신호 부족으로 인해 인간 선호도 정렬에 비효율적인 문제를 해결하는 것이 목표입니다. 특히, 생성 과정의 다양한 타임스텝에서 의사 결정의 중요성이 다름에도 불구하고 일률적으로 보상이 할당되는 단점을 극복하고자 합니다.

핵심 방법론

이 논문은 시간 인지형 RL 프레임워크인 TempFlow-GRPO를 제안합니다. 주요 혁신은 두 가지입니다. 첫째, Trajectory Branching 메커니즘을 도입하여 특정 분기점에서만 확률적 탐색(SDE)을 수행하고 나머지는 결정론적(ODE)으로 진행하여 최종 보상을 중간 탐색 행동에 정확하게 할당합니다. 둘째, Noise-Aware Weighting 기법을 사용하여 각 타임스텝의 내재된 노이즈 레벨에 따라 정책 최적화 강도를 조절합니다.

주요 결과

TempFlow-GRPO는 Geneval 벤치마크에서 기준 모델의 0.63점을 0.97점으로 크게 향상시켰으며, 기존 Flow-GRPO의 0.90점 대비 우수한 성능을 보였습니다. 특히, 2,000 스텝 만에 0.95점을 달성하여 Flow-GRPO가 5,600 스텝에 달성하는 수준을 앞질렀습니다. PickScore 벤치마크에서는 기존 Flow-GRPO보다 약 1.3% 더 높은 성능을 기록했습니다.

AI 실무자를 위한 시사점

TempFlow-GRPO는 생성형 AI 모델, 특히 플로우 기반 모델의 RL 학습에서 시간적 역동성을 고려하는 것의 중요성을 입증했습니다. Trajectory Branching과 Noise-Aware Weighting은 중간 보상 모델 없이도 정밀한 크레딧 할당과 최적화 강도 조절을 가능하게 하여, 복잡한 생성 모델의 수렴 속도를 가속화하고 최종 샘플 품질을 향상시킬 수 있는 실용적인 전략을 제공합니다. 이는 실제 인간 선호도 정렬 및 이미지 생성 애플리케이션에 큰 이점을 제공할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.