[논문리뷰] FinTrust: A Comprehensive Benchmark of Trustworthiness Evaluation in Finance Domain

링크: 논문 PDF로 바로 열기

저자: Tiansheng Hu, Tongyan Hu, Arman Cohan, Liuyang Bai, Yilun Zhao, Chen Zhao

핵심 연구 목표

본 논문은 금융 도메인에서 대규모 언어 모델(LLM)의 신뢰성을 종합적으로 평가하기 위한 FINTRUST 벤치마크를 제시합니다. 금융 분야의 높은 위험도와 엄격한 신뢰성 기준을 고려하여, 기존 성능 중심 평가의 한계를 극복하고 LLM이 실제 금융 애플리케이션에서 안전하고 윤리적으로 사용될 수 있는지 확인하는 것을 주 목표로 합니다.

핵심 방법론

FINTRUST는 **신뢰성(Trustfulness), 견고성(Robustness), 안전성(Safety), 공정성(Fairness), 개인정보 보호(Privacy), 투명성(Transparency), 지식 발견(Knowledge Discovery)**의 일곱 가지 차원을 포함합니다. 각 차원은 텍스트, 테이블, 시계열 데이터를 활용한 15,680개의 질문-답변 쌍으로 구성된 세분화된 태스크를 특징으로 하며, 특히 실제 금융 범죄 시나리오 및 다양한 공격 방법론을 반영합니다. 여러 LLM에 대해 LLM-as-a-judge (GPT-4.1 mini) 평가 방식을 사용하여 종합적인 분석을 수행했습니다.

주요 결과

평가 결과, o4-mini와 같은 독점 모델은 안전성 및 전반적인 성능에서 우위를 보였고, DeepSeek-V3는 산업 수준 공정성에서 강점을 나타냈습니다. 반면, 유전 알고리즘 기반 공격은 o4-mini를 제외한 대부분의 LLM에 효과적임이 드러났습니다. 특히, 모든 LLM은 신탁 의무(fiduciary alignment) 및 **이해 상충 공개(conflict of interest disclosure)**와 같은 투명성 및 개인정보 보호 관련 태스크에서 현저히 낮은 성능을 보여 법적 인식 측면의 큰 격차를 드러냈습니다.

AI 실무자를 위한 시사점

금융 분야에 LLM을 배포하려는 AI 실무자들에게 LLM의 신뢰성, 특히 법적/윤리적 측면에 대한 깊이 있는 이해가 필수적임을 시사합니다. 미세 조정(fine-tuning)이 공정성을 향상시킬 수 있지만, 개인정보 보호 능력을 저하시킬 수 있으며, 추론 모델이 비의도적인 편향을 유발할 수 있음을 인지해야 합니다. 따라서 도메인 특화된 규제 및 윤리 기준에 맞춰 LLM을 정렬하는 추가적인 연구와 개발이 시급합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.