[논문리뷰] Can LLM-Generated Textual Explanations Enhance Model Classification Performance? An Empirical Study

링크: 논문 PDF로 바로 열기

저자: Mahdi Dhaini, Juraj Vladika, Ege Erdogan, Zineb Attaoui, Gjergji Kasneci

핵심 연구 목표

본 연구는 비용이 많이 들고 확장성이 낮은 인간 주석 기반 설명의 한계를 극복하기 위해, LLM이 생성한 텍스트 설명이 자연어 추론(NLI)과 같은 다운스트림 예측 태스크에서 PLM 및 LLM의 분류 성능을 향상시킬 수 있는지 실증적으로 평가하는 것을 목표로 합니다. 동시에 LLM 생성 설명의 품질을 다양한 메트릭으로 엄격하게 평가하고자 합니다.

핵심 방법론

다양한 규모와 복잡도를 가진 네 가지 LLM(GPT-40 mini, Mixtral-7B, Gemma2-9B, Llama3-70B)을 활용하여 zero-shot 및 few-shot 설정에서 두 개의 NLI 벤치마크 데이터셋(e-SNLI, HealthFC)에 대한 설명을 생성했습니다. 생성된 설명의 품질은 BLEU, ROUGE, BERTScore, MAUVE 및 LLM-as-judge G-Eval과 같은 종합적인 NLG 메트릭으로 평가되었습니다. 이 설명들을 네 가지 PLM(BERT, DeBERTa, RoBERTa, ModernBERT)과 세 가지 LLM(GPT-40 mini, Qwen 2.5, Llama3.3-70B)의 NLI 태스크에 통합하여 성능 영향을 분석했습니다. PLM은 파인튜닝, LLM은 zero-shot 추론 방식으로 진행되었습니다.

주요 결과

LLM이 생성한 설명은 PLM의 예측 성능을 일관되게 향상시켰습니다. 특히 HealthFC 데이터셋에서는 LLM 생성 설명이 인간 주석 설명보다 더 나은 성능을 보였습니다. 설명 품질 측면에서는 GPT-40 mini가 e-SNLI에서 BLEU, ROUGE-1, BERTScore-F1, G-Eval 점수가 가장 높았으며, Llama3-70B는 HealthFC에서 이들 메트릭에서 우수했습니다. 그러나 LLM 분류기의 경우 LLM 생성 설명을 제공하는 것이 대부분 성능 향상으로 이어지지 않았으며, 때로는 성능을 저하시키기도 했습니다(예: e-SNLI의 경우 평균 20-30% 정확도 하락). 모델 크기만으로는 더 나은 성능을 보장하지 않았습니다.

AI 실무자를 위한 시사점

본 연구는 LLM 생성 텍스트 설명이 PLM의 분류 성능을 효과적으로 개선할 수 있음을 입증하며, 이는 기존 데이터셋을 확장하고 모델 성능을 향상시키는 자동화된 접근 방식의 유망성을 제시합니다. 하지만 LLM 자체에 설명을 제공하는 방식은 설명의 유형(논리 기반 vs. 요약 기반)과 데이터셋 특성에 따라 결과가 상이하므로, LLM 기반 시스템 설계 시 설명 통합 전략을 신중하게 고려해야 합니다. 특히, 인간이 작성한 설명이 특정 태스크에서 여전히 더 유익할 수 있음을 시사합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.