[논문리뷰] Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training

링크: 논문 PDF로 바로 열기

저자: Yein Park, Minbyul Jeong, Jaewoo Kang

핵심 연구 목표

대규모 추론 모델의 후처리 훈련(Post-Training) 기법(SFT, RL 등)이 모델의 추론 능력 향상에 기여하는 내부 아키텍처 메커니즘의 불투명성을 해소하는 것이 주요 목표입니다. 특히, 이러한 훈련 과정에서 기능적으로 특화된 어텐션 헤드가 어떻게 출현하고 구조화된 추론 및 계산을 지원하는지 회로 분석을 통해 밝히고자 합니다.

핵심 방법론

Qwen 및 DeepSeek-R1-Distill-Qwen 모델군을 대상으로 회로 분석(Circuit Analysis)을 적용하여 후처리 훈련(Distillation, SFT, GRPO)에 따른 새롭게 출현하는 어텐션 헤드를 식별했습니다. EAP-IG (Edge Attribution Patching with Integrated Gradients)를 사용해 회로를 구성하고, 어블레이션(Ablation) 및 활성화 스케일링(Activation Scaling) 실험을 통해 emergent head의 인과적 역할을 검증했습니다. 추가적으로 Qwen3-8B 모델의 “Think On/Off” 기능을 분석하여 추론 모드 전환 시의 내부 메커니즘 변화를 연구했습니다.

주요 결과

Distillation과 SFT는 모델에 새롭고 안정적인 추론 어텐션 헤드를 점진적으로 추가하며, 특히 SFT 헤드는 주로 중후반 레이어에 집중됩니다. GRPO (Group Relative Policy Optimization)는 보상 신호에 따라 어텐션 헤드를 동적으로 활성화 및 가지치기하며, 최종적으로 작고 타겟팅된 헤드 세트를 만듭니다. 예를 들어, DeepSeekR1-Distill-Qwen-1.5B의 추론 헤드 어블레이션 시 AIME’24 pass@1 점수가 30.0%에서 26.6%로 하락했습니다. 또한, Think Off 모델에서 과도하게 활성화된 헤드를 어블레이션하거나 스케일링 다운하면 AIME’24 성능이 최대 30.0%에서 36.6%로 증가하며, 이는 “과도한 사고(over-thinking)” 문제를 완화할 수 있음을 보여줍니다.

AI 실무자를 위한 시사점

본 연구는 후처리 훈련이 LLM의 내부 아키텍처를 근본적으로 재구성하며, 특정 어텐션 헤드의 활성화 및 역할을 이해하는 것이 모델 성능 최적화에 필수적임을 입증합니다. 복잡한 추론 헤드가 어려운 문제를 해결하지만, 간단한 계산 오류나 과도한 추론(over-thinking)을 유발할 수 있어 추론 전략의 효율성과 실행의 신뢰성 사이의 균형이 중요함을 시사합니다. 향후 타겟팅된 어텐션 헤드 활성화 및 정교한 보상 쉐이핑을 통한 훈련 정책 설계를 위한 기반을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.