[논문리뷰] WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents

링크: 논문 PDF로 바로 열기

저자: Yinuo Liu, Ruohan Xu, Xilong Wang, Yuqi Jia, Neil Zhenqiang Gong

핵심 연구 목표

이 논문은 웹 에이전트를 대상으로 하는 프롬프트 인젝션 공격에 대한 탐지 방법들을 체계적으로 벤치마킹하여, 웹 에이전트 환경에서의 탐지 성능을 종합적으로 평가하고 이해하는 것을 목표로 합니다. 기존 연구에서 웹 에이전트의 취약성이 입증되었음에도 불구하고, 탐지 방법론에 대한 체계적인 평가가 부족하다는 간극을 해소하고자 합니다.

핵심 방법론

연구진은 먼저 위협 모델에 기반한 프롬프트 인젝션 공격의 세분화된 분류 체계를 제안합니다. 다음으로, 다양한 공격 유형(VWA-Adv, EIA, Pop-up, WASP, WebInject, VPI)에서 수집한 악성 텍스트 및 이미지 샘플과 정상 샘플로 구성된 포괄적인 멀티모달 데이터셋을 구축했습니다. 마지막으로, 텍스트 기반 및 이미지 기반 탐지 방법을 체계화하고 12가지 탐지 모델의 성능을 여러 시나리오에 걸쳐 평가했습니다.

주요 결과

명시적인 텍스트 지침이나 시각적으로 식별 가능한 이미지 교란을 사용하는 공격에 대해서는 일부 탐지기가 중간에서 높은 정확도를 보였습니다. 그러나 명시적인 지침이 없거나 인지하기 어려운 교란을 사용하는 공격에 대해서는 탐지기들이 크게 실패했습니다(예: VWA-Adv 임베디드 이미지 및 WebInject 스크린샷에 대한 TPR이 0.05-0.13에 불과). 특히, GPT-4o-Prompt는 이미지 기반 탐지에서 WASP, VPI, Pop-up, EIA 스크린샷과 같은 가시적 교란 공격에 대해 0.75~1.00의 TPR을 기록하며 강력한 성능을 보여주었지만, 미세한 교란에는 여전히 취약했습니다. 앙상블은 커버리지를 높였으나 오탐율을 소폭 증가시켰습니다.

AI 실무자를 위한 시사점

웹 에이전트 개발자는 프롬프트 인젝션 공격의 멀티모달 특성을 인식하고, 텍스트와 이미지 관찰을 모두 고려한 방어 전략을 설계해야 합니다. 현재의 탐지 방법은 은밀한(stealthy) 공격에 대한 방어에 한계가 있으므로, 더욱 강력하고 멀티모달한 탐지 기술 개발이 시급합니다. 벤치마크 결과는 다양한 탐지 패러다임의 강점과 약점을 명확히 보여주어, 향후 AI 보안 연구 및 개발 방향을 제시하는 데 중요한 기반이 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.