[논문리뷰] QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting

링크: 논문 PDF로 바로 열기

저자: Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

핵심 연구 목표

본 논문은 대규모 언어 모델(LLM)의 환각 발생률 증가 문제를 해결하고자 합니다. 기존의 사후 필터링 방식 대신, 입력 쿼리의 17가지 언어학적 특징을 활용하는 밴딧 프레임워크를 통해 쿼리 재작성 전략을 설계하여, LLM이 환각을 생성하지 않도록 사전에 유도하는 것을 목표로 합니다.

핵심 방법론

연구진은 QueryBandits라는 문맥 기반 밴딧 프레임워크를 제안하여, 쿼리의 언어학적 특징에 기반한 최적의 재작성 전략(총 5가지: Paraphrasing, Simplification, Disambiguation, Expansion, Clarification of Certain Terms)을 선택합니다. 보상 모델은 LLM-judge (S_llm), 퍼지 문자열 유사도 (S_fuzz), BLEU-1 점수 (S_bleu)를 조합한 rt = α·S_llm + β·S_fuzz + γ·S_bleu로 정의되었으며, α=0.6, β=0.3, γ=0.1 가중치로 Pareto 최적 균형을 맞춥니다. 최상위 성능을 보인 Thompson Sampling은 쿼리의 언어적 특성에 맞춰 재작성 선택을 조정하도록 학습됩니다.

주요 결과

최고 성능의 QueryBandits (Thompson Sampling)는 재작성을 적용하지 않은 baseline 대비 87.5%의 승률을 달성하며 환각 완화에 효과적임을 입증했습니다. 이는 Zero-Shot Static Prompting (Paraphrase) 대비 42.6%, (Expand) 대비 60.3% 더 우수한 성능입니다. 또한, 언어학적 특징 입력을 제거했을 때 성능이 81.7% 승률과 754.66 exploration-adjusted reward로 하락하여, 이 특징들이 환각 위험 예측에 중요한 연관성 신호를 제공함을 보여주었습니다.

AI 실무자를 위한 시사점

본 연구는 LLM의 환각 완화를 위해 쿼리 재작성이라는 사전적 개입의 효과를 강조하며, 문맥 기반 밴딧 알고리즘이 쿼리별 특성에 맞는 동적인 재작성 전략을 제공할 수 있음을 제시합니다. 이는 LLM 애플리케이션의 신뢰성과 성능을 향상시키는 실용적인 방법론이 될 수 있습니다. 또한, 언어학적 특징을 활용한 QueryBandits는 LLM 출력 동작의 해석 가능성을 높여, 모델의 강점과 약점을 이해하는 데 도움을 줄 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.