[논문리뷰] Less is More: Recursive Reasoning with Tiny Networks

링크: 논문 PDF로 바로 열기

저자: Alexia Jolicoeur-Martineau

핵심 연구 목표

이 논문은 기존의 **Hierarchical Reasoning Model (HRM)**이 복잡하고 비효율적이라는 문제점을 해결하기 위해, 더욱 단순하면서도 효율적인 **Tiny Recursive Model (TRM)**을 제안합니다. 특히, 적은 파라미터와 제한된 데이터로도 Sudoku-Extreme, Maze-Hard, ARC-AGI와 같은 어려운 추론 문제에서 대규모 언어 모델(LLMs)보다 뛰어난 일반화 성능을 달성하는 것을 목표로 합니다.

핵심 방법론

TRM은 단일의 **작은 네트워크(2개 레이어, 7M 파라미터)**를 사용하여 예측된 답변(y)을 재귀적으로 개선합니다. 이는 입력 질문(x), 현재 답변(y), **잠재 표현(z)**을 바탕으로 n번의 잠재 표현(z) 업데이트와 1번의 답변(y) 업데이트를 반복하며 진행됩니다. 기존 HRM의 복잡한 계층적 추론, 암묵적 함수 정리(IFT), 1-단계 기울기 근사 및 두 개의 네트워크를 모두 제거하고, 전체 재귀 과정에 대한 역전파와 단일 포워드 패스 ACT를 통해 단순성과 효율성을 극대화했습니다. 또한, 과적합 방지 및 안정성 향상을 위해 **Exponential Moving Average (EMA)**를 사용합니다.

주요 결과

TRM은 Sudoku-Extreme에서 **87.4%**의 테스트 정확도(HRM의 55% 대비), Maze-Hard에서 85.3% (HRM의 74.5% 대비), ARC-AGI-1에서 45% (HRM의 40.3% 대비), ARC-AGI-2에서 8% (HRM의 5% 대비)를 달성했습니다. 이는 **HRM보다 4배 적은 파라미터(7M vs 27M)**를 사용하고, 심지어 **Deepseek R1 (671B)**과 같은 LLM의 0.01% 미만 파라미터로 더 높은 성능을 기록했습니다. 특히 MLP 기반 TRM은 Sudoku-Extreme에서 가장 좋은 성능을 보였습니다.

AI 실무자를 위한 시사점

TRM은 복잡한 추론 문제 해결에 반드시 대규모 모델이나 복잡한 아키텍처가 필요한 것은 아님을 보여줍니다. 소규모 네트워크와 재귀적 개선 메커니즘을 활용하여 높은 파라미터 효율성과 뛰어난 일반화 성능을 동시에 달성할 수 있음을 입증했습니다. 이는 제한된 컴퓨팅 자원을 가진 환경에서 하드웨어 제약적인 AI 애플리케이션 개발에 큰 영감을 줄 수 있으며, 데이터가 부족한 도메인에서 과적합을 방지하고 안정적인 성능을 확보하는 데 효과적인 전략을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.