[논문리뷰] Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference

링크: 논문 PDF로 바로 열기

저자: Xiangwei Shen, Zhimin Li, Zhantao Yang, Shiyi Zhang, Yingfang Zhang, Donghao Li, Chunyu Wang, Qinglin Lu, Yansong Tang

핵심 연구 목표

본 논문은 기존 온라인 강화 학습(Online-RL) 기반 확산 모델 정렬 방식의 한계를 극복하는 것을 목표로 합니다. 특히, 다단계 디노이징 과정의 높은 계산 비용으로 인한 제한적인 최적화 범위(후기 확산 단계)와 오프라인 보상 모델 미세 조정의 필요성으로 발생하는 보상 해킹(reward hacking) 및 미흡한 미학적 품질 문제를 해결하고자 합니다.

핵심 방법론

저자들은 Direct-Align라는 새로운 방법을 제안합니다. 이는 노이즈 사전(noise prior)을 정의하여 어떠한 시간 단계에서도 원본 이미지를 효과적으로 복구함으로써, 그래디언트 계산을 동반하는 다단계 디노이징의 필요성을 제거합니다. 또한, Semantic Relative Preference Optimization (SRPO)를 도입하여 보상을 텍스트 조건부 신호로 공식화하고, 긍정/부정 프롬프트 증강을 통해 보상 모델을 온라인으로 조정하여 오프라인 미세 조정 의존도를 줄였습니다.

주요 결과

제안된 방법론은 FLUX.1.dev 모델을 기반으로 인간 평가에서 인지된 사실감(realism)에서 약 3.7배, 미학적 품질(aesthetic quality)에서 3.1배 향상을 달성했습니다. 특히, 훈련 효율성 면에서는 DanceGRPO 대비 75배 빠른 속도로, 32개의 NVIDIA H20 GPU를 사용하여 단 10분 만에 수렴하는 놀라운 성과를 보였습니다.

AI 실무자를 위한 시사점

AI/ML 실무자들은 본 연구를 통해 확산 모델의 인간 선호도 정렬 과정에서 발생하는 계산 비용을 획기적으로 줄이고 보상 해킹 위험을 낮출 수 있습니다. 온라인 보상 조정 메커니즘은 특정 미적 요구사항에 따라 모델을 유연하게 제어할 수 있게 하여, 고품질 이미지 생성 및 빠른 모델 반복(iteration)이 필요한 실제 애플리케이션에 매우 유용할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.