[논문리뷰] Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models

링크: 논문 PDF로 바로 열기

저자: Luca Eyring, Shyamgopal Karthik, Alexey Dosovitskiy, Nataniel Ruiz, Zeynep Akata

핵심 연구 목표

본 논문은 확산 모델에서 추론 시 계산 비용을 크게 증가시키는 테스트-시간 스케일링(test-time scaling)의 문제점을 해결하고자 합니다. 모델이 추가적인 계산을 통해 생성 품질을 향상시키는 이점은 유지하면서도, 추론 과정의 속도 저하와 비실용성을 제거하여 계산 오버헤드 없이 고품질 생성을 달성하는 것을 목표로 합니다.

핵심 방법론

저자들은 초기 노이즈 분포를 조절하는 노이즈 하이퍼네트워크(Noise Hypernetwork), 즉 HyperNoise를 제안합니다. 이 경량 네트워크(f_phi)는 표준 가우시안 노이즈를 변형하여 최적화된 노이즈 잠재 변수를 예측하며, 이는 기존의 동결된 생성기(g_theta)의 입력으로 사용됩니다. 학습은 L2 페널티를 통해 노이즈 공간에서의 KL 발산을 근사하고 보상 최대화를 목표로 하는 L_noise(phi) = E_x0~p0 [ ||f_phi(x0)||^2 - r(g_theta(x0 + f_phi(x0))) ] 목적 함수를 통해 이루어집니다. 이 방식은 LoRA(Low-Rank Adaptation)를 사용하여 파라미터 효율성을 높이고 추론 비용을 최소화합니다.

주요 결과

제안된 HyperNoise는 SD-Turbo, SANA-Sprint, FLUX-Schnell 등 최신 증류 모델에 적용되었을 때 상당한 성능 향상을 보였습니다. 예를 들어, SD-Turbo + HyperNoise는 GenEval 평균 0.57을 달성하여 기본 모델(0.49)을 크게 능가했으며, 이는 기존 SDXL 모델과 유사한 성능을 25배 적은 NFEs로 달성한 것입니다. SANA-Sprint + HyperNoise는 기본 모델(0.70) 대비 0.75를 달성하며 ReNO의 성능 향상(0.81)의 절반 가량을 300배 빠른 속도로 회복했습니다. 이러한 개선은 이미지 품질 및 프롬프트 충실도 측면에서 두드러졌습니다.

AI 실무자를 위한 시사점

HyperNoise는 테스트-시간 최적화의 이점을 학습 과정에 통합함으로써, 실시간 애플리케이션에 적합한 효율적인 고품질 생성 모델을 구현할 수 있게 합니다. 특히 GPU 메모리 제약이 있거나 빠른 추론 속도가 필수적인 환경에서 효과적입니다. 또한, LoRA 기반으로 기존 모델에 쉽게 적용 가능하며, 직접 미세 조정 시 발생할 수 있는 ‘보상 해킹(reward hacking)’ 문제를 원칙적인 정규화를 통해 방지하여 생성된 이미지의 품질과 다양성을 유지할 수 있도록 돕습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.