[논문리뷰] Beyond Transcription: Mechanistic Interpretability in ASR

링크: 논문 PDF로 바로 열기

저자: Neta Glazer, Yael Segal-Feldman, Hilit Segev, Aviv Shamsian, Asaf Buchnick, Gill Hetz, Ethan Fetaya, Joseph Keshet, Aviv Navon

핵심 연구 목표

본 논문은 대규모 언어 모델(LLM)에서 성공적으로 적용된 메커니즘 해석 가능성(mechanistic interpretability) 기법을 음성 인식(ASR) 분야에 적용하여, 현대 ASR 시스템 및 대규모 오디오-언어 모델(LALM)의 내부 동작 및 동적 특성을 이해하는 것을 목표로 합니다. 특히 환각(hallucinations), 반복 루프(repetition loops), 문맥적으로 편향된 출력과 같은 주요 오류 현상의 근본적인 메커니즘을 밝히고, 모델의 투명성과 견고성을 향상시키는 데 기여하고자 합니다.

핵심 방법론

연구는 Whisper-large-v3 및 Qwen2-Audio-7B-Instruct 모델을 대상으로 진행되었으며, logit lens, linear probing, activation patching과 같은 LLM 해석 가능성 기법들을 ASR 모델에 체계적으로 적용했습니다. Linear probing을 통해 인코더/디코더 레이어에서 스피커 성별, 환경 노이즈, 악센트, 의미론적 정보, 환각 예측 등을 분석했으며, activation patching과 ablation을 사용하여 특정 구성 요소가 반복 현상에 미치는 인과적 역할을 규명했습니다.

주요 결과

Linear probing 결과, 인코더는 스피커 성별(94.6% 정확도), 환경 노이즈(90.0% 정확도), 악센트(97.0% 정확도)를 깊은 레이어에서 선형적으로 디코딩할 수 있음을 확인했습니다. 디코더의 잔여 스트림은 환각 관련 신호를 93.4% 정확도(Whisper)로 예측할 수 있었습니다. 또한 cross-attention 패칭을 통해 Whisper의 반복 환각이 특정 구성 요소(레이어 23의 cross-attention에서 76% 해결, 레이어 18의 헤드 13에서 13% 추가 해결)에 의해 제어되며 총 89%의 반복 현상이 수정됨을 밝혔습니다. 흥미롭게도 인코더 구성 요소에 대한 disruptive audio 패칭이 역설적으로 음향 정확도를 향상시켜, 인코더가 음향 정보 외에 문맥적/의미론적 기대를 인코딩함을 시사합니다.

AI 실무자를 위한 시사점

본 연구는 LLM 해석 가능성 기법이 ASR 모델의 내부 동작을 진단하고 이해하는 데 강력한 도구임을 입증했습니다. AI 엔지니어는 이러한 기법을 활용하여 ASR 시스템의 오류 모드를 진단하고, 환각 또는 출력 품질 예측을 위한 실시간 내부 모니터를 구축할 수 있습니다. 또한 특정 구성 요소가 문제 행동에 미치는 인과 관계를 파악하여, 모델 신뢰성을 높이기 위한 타겟팅된 개입(fine-tuning 또는 아키텍처 개선)을 설계할 수 있는 실질적인 토대를 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.