[논문리뷰] Compressing Chain-of-Thought in LLMs via Step Entropy

링크: 논문 PDF로 바로 열기

저자: Zeju Li, Jianyuan Zhong, Ziyang Zheng, Xiangyu Wen, Zhijian Xu, Yingying Cheng, Fan Zhang, Qiang Xu

핵심 연구 목표

Large Language Models(LLMs)의 Chain-of-Thought(CoT) 추론 과정에서 발생하는 과도한 상세함과 중복성으로 인한 높은 추론 비용 및 비효율성을 해결하는 것이 주요 목표입니다. 논문은 의미적으로 중복되는 추론 단계를 식별하고 압축하여 정확도를 유지하면서 LLM의 추론 효율성을 극대화하는 방법을 제안합니다.

핵심 방법론

논문은 각 추론 단계의 정보 기여도를 정량화하는 새로운 지표인 스텝 엔트로피(step entropy)를 도입합니다. 낮은 엔트로피를 가진 단계는 예측 가능하고 정보량이 적어 안전하게 가지치기할 수 있다는 가설을 기반으로, 낮은 엔트로피 단계의 최대 80%를 [SKIP] 토큰으로 대체하여 CoT를 압축합니다. 이후 지도 미세 조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 결합한 2단계 학습 전략을 통해 모델이 압축된 추론 궤적을 자율적으로 생성하도록 훈련합니다.

주요 결과

실험 결과, 낮은 엔트로피의 중간 추론 단계 최대 80%를 가지치기해도 DeepSeek-R1-7B, 14B 및 Qwen3-8B 모델에서 최종 답변 정확도가 소폭 하락하거나 유지되며, 16-45%의 토큰 감소를 달성했습니다. 특히, 제안된 2단계 훈련 전략을 통해 훈련된 모델은 정확도를 유지하거나 향상시키면서 35-57%의 토큰 감소를 보여주었습니다. 이는 고엔트로피 또는 무작위 가지치기가 성능을 심각하게 저하시키는 것과 대조됩니다.

AI 실무자를 위한 시사점

이 연구는 LLM의 추론 효율성을 획기적으로 개선할 수 있는 실용적인 방법론을 제시하여 LLM 배포 비용 절감 및 추론 속도 향상에 직접적으로 기여합니다. 스텝 엔트로피는 LLM 추론 과정의 내부 동작을 이해하고 중복된 부분을 식별하는 데 유용한 새로운 지표를 제공합니다. 또한, 모델이 불필요한 추론 단계를 자율적으로 건너뛰도록 학습시키는 가능성을 보여주어 향후 효율적인 LLM 아키텍처 및 훈련 방법론 개발에 중요한 시사점을 줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.