[논문리뷰] Free Lunch Alignment of Text-to-Image Diffusion Models without Preference Image Pairs

링크: 논문 PDF로 바로 열기

저자: Jia Jun Cheng Xian, Muchen Li, Haotian Yang, Xin Tao, Pengfei Wan, Leonid Sigal, Renjie Liao

핵심 연구 목표

본 연구는 확산 기반 Text-to-Image (T2I) 모델의 텍스트-이미지 정렬(alignment)을 개선하는 것을 목표로 합니다. 특히, 기존의 강화 학습(RLHF) 및 선호도 기반 최적화(DPO, KTO) 방법론이 요구하는 고비용의 인간 선호도 이미지 쌍 데이터 없이, “무료 점심(free-lunch)” 방식으로 정렬을 달성하고자 합니다.

핵심 방법론

저자들은 Text Preference Optimization (TPO)이라는 새로운 프레임워크를 제안합니다. 이 방법론은 인간 선호도 이미지 쌍 대신 LLM(Large Language Model)을 활용하여 원본 캡션을 조작함으로써, 일치하는 프롬프트와 불일치하는 프롬프트 쌍을 자동 생성합니다. 이 프롬프트 조작은 콘텐츠, 속성, 공간, 문맥적 수정의 네 가지 원칙에 따라 이루어집니다. 이렇게 생성된 텍스트 선호도 데이터 쌍을 사용하여 DPO와 KTO를 TPO 설정에 맞게 확장한 TDPO와 TKTO를 통해 확산 모델을 정렬합니다. 학습 과정의 안정화를 위해 네거티브 샘플 항에 클리핑 메커니즘을 도입했습니다.

주요 결과

Stable Diffusion v1.5 모델을 사용하여 다양한 벤치마크(HPSv2, Parti-Prompts, Pick-a-Pic, OpenImagePref)에서 정량적 및 정성적 평가를 수행했습니다. 제안된 TDPO 및 TKTO 방법은 모든 데이터셋 및 평가 지표에서 기존 Diffusion-DPO 및 Diffusion-KTO 베이스라인을 일관되게 능가했습니다. 예를 들어, HPSv2 데이터셋의 PickScore에서 Ours-TDPO는 83.25%의 승률을 달성하여 Diff-DPO의 77.00%를 뛰어넘었습니다. 또한, 암묵적 선호도 점수와 인간 선호도 점수 사이에 강한 양의 상관관계가 있음을 확인했습니다.

AI 실무자를 위한 시사점

본 연구는 고비용의 인간 선호도 데이터 없이 T2I 모델의 정렬 성능을 크게 향상시킬 수 있는 실용적인 방법을 제시합니다. 이는 AI 모델 개발 비용을 절감하고 확장성을 높이는 데 기여할 수 있습니다. LLM을 활용한 프롬프트 엔지니어링을 통해 합성 선호도 데이터를 생성하는 접근 방식은 다양한 도메인에서 모델 정렬 문제에 적용될 수 있는 잠재력을 가집니다. 특히, 기존의 DPO 및 KTO와 같은 선호도 기반 알고리즘에 쉽게 통합될 수 있는 일반화된 프레임워크를 제공하여, AI 개발자들이 보다 효율적으로 T2I 모델을 최적화할 수 있도록 돕습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.