[논문리뷰] Fact2Fiction: Targeted Poisoning Attack to Agentic Fact-checking System

링크: 논문 PDF로 바로 열기

저자: Haorui He, Yupeng Li, Bin Benjamin Zhu, Dacheng Wen, Reynold Cheng, Francis C. M. Lau

핵심 연구 목표

본 연구는 최신 LLM 기반 에이전트 팩트체킹 시스템이 잘못된 정보를 확산시키거나 진실을 훼손할 수 있는 포이즈닝 공격에 취약함을 지적합니다. 기존 공격 방식은 이러한 정교한 시스템의 클레임 분해 및 교차 검증 메커니즘에 효과적이지 못합니다. 이에 논문은 Fact2Fiction이라는 새로운 포이즈닝 공격 프레임워크를 제안하며, 이는 시스템의 클레임 분해 및 정당화 생성 기능을 활용하여 표적화된 악성 증거를 생성함으로써 에이전트 기반 팩트체킹 시스템의 보안 취약점을 노출하는 것을 목표로 합니다.

핵심 방법론

Fact2Fiction은 Planner와 Executor라는 두 개의 LLM 기반 에이전트를 활용합니다. Planner는 타겟 클레임을 서브 클레임으로 분해하고, 시스템이 생성한 **정당화(justification)**를 분석하여 각 서브 클레임에 대한 **표적화된 적대적 답변(adversarial answers)**을 계획합니다. 이후 **예산 계획(budget planning)**을 통해 각 서브 클레임의 중요도에 따라 포이즈닝 예산을 전략적으로 할당하고, **쿼리 계획(query planning)**을 통해 악성 증거의 검색 가능성을 높입니다. Executor는 Planner의 계획에 따라 맞춤형 악성 증거 코퍼스를 생성하고, 이를 지식 베이스에 주입하여 서브 클레임 검증을 조작합니다.

주요 결과

Fact2Fiction은 기존의 PoisonedRAG 공격 대비 8.9%에서 21.2% 더 높은 공격 성공률(ASR)을 달성하며, 모든 포이즈닝 예산 범위에서 우수한 성능을 보였습니다. 특히, 최소 0.1% 포이즈닝 비율에서도 기존 공격들을 능가하는 가장 높은 ASR을 기록했으며, PoisonedRAG와 유사한 성능을 달성하는 데 필요한 악성 증거가 8~16배 적어 공격 효율성이 훨씬 높음을 입증했습니다. 또한, 시스템의 정당화(justification) 활용이 공격 성공률을 최대 12.4% 향상시키는 등 중요한 취약점으로 작용함을 확인했습니다.

AI 실무자를 위한 시사점

본 연구는 에이전트 기반 팩트체킹 시스템의 보안 취약점을 드러내며, 시스템이 생성하는 정당화가 공격자가 목표 공격을 수행하는 데 악용될 수 있음을 시사합니다. AI 실무자들은 이러한 시스템 설계 시 **투명성(justification)**과 보안(security) 사이의 균형을 신중하게 고려해야 하며, 악성 콘텐츠 탐지 및 회피 메커니즘을 강화하는 새로운 방어 전략 개발이 시급함을 보여줍니다. 특히, 낮은 포이즈닝 예산에서도 높은 공격 성공률을 보이는 점은 자원 제약이 있는 공격 환경에서도 효과적인 위협이 될 수 있음을 의미합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.