[논문리뷰] Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation

링크: 논문 PDF로 바로 열기

저자: Jinyi Han, Tingyun li, Shisong Chen, Jie shi, Xinyi Wang, Guanglei Yue, Jiaqing Liang, Xin Lin, Liqian Wen, Zulong Chen, Yanghua Xiao

핵심 연구 목표

대규모 언어 모델(LLM)이 답변 생성 과정에서 겪는 과신(overconfidence) 문제를 해결하고, 기존의 거친(coarse-grained) 신뢰도 추정 방식의 한계를 극복하는 것을 목표로 합니다. LLM이 생성 프로세스 전반에 걸쳐 정확하고 연속적인(continuous) 세분화된(fine-grained) 신뢰도 점수를 제공하여 신뢰성과 투명성을 높이는 새로운 방법을 개발하고자 합니다.

핵심 방법론

본 논문은 FineCE라는 새로운 신뢰도 추정 방법을 제안합니다. LLM 응답의 분포적 불확실성을 포착하기 위해 Monte Carlo Sampling을 기반으로 고품질 훈련 데이터를 구축하고 지도 학습(supervised learning) 방식으로 모델을 훈련합니다. 특히, 추론 단계에서 후속 텍스트 정보를 활용하여 현재 예측의 신뢰도를 개선하는 Backward Confidence Integration (BCI) 전략을 도입하며, 계산 효율성을 위해 문단 끝(Paragraph-End), 주기적(Periodic), 엔트로피 기반(Entropy-based)의 세 가지 보정 위치 식별 전략을 제시합니다.

주요 결과

FineCE는 다양한 벤치마크 데이터셋에서 기존 신뢰도 추정 방법론들을 지속적으로 능가하는 성능을 보였습니다. 특히 GSM8K 데이터셋에서 신뢰도 기반 필터링 전략을 통해 정확도를 39.5% 향상시켰습니다. 생성 과정의 3분의 1 지점에서도 신뢰할 수 있는 조기 신뢰도 신호를 제공하며, Backward Confidence Integration (BCI) 전략을 적용했을 때 ECE(Expected Calibration Error)가 상당히 감소하여 보정 성능이 크게 개선됨을 입증했습니다.

AI 실무자를 위한 시사점

FineCE는 LLM의 생성 과정 전반에 걸쳐 세분화된 신뢰도 점수를 제공하여 LLM 기반 시스템의 신뢰성과 투명성을 크게 향상시킬 수 있습니다. 이를 통해 낮은 신뢰도를 보이는 응답에 대해 조기 종료 또는 자가 수정을 유도하여 불필요한 계산 비용을 절감하고, 모델의 근본적인 약점을 식별하여 개선 방향을 제시하는 데 기여합니다. 또한, 소규모 모델을 활용한 훈련 데이터 구축이 비용 효율적인 대안이 될 수 있음을 시사하여 실제 적용 가능성을 높였습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.