[논문리뷰] Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

링크: 논문 PDF로 바로 열기

저자: Yurun Chen, Xavier Hu, Yuhan Liu, Ziqi Wang, Zeyi Liao, Lin Chen, Feng Wei, Yuxi Qian, Bo Zheng, Keting Yin, Shengyu Zhang

핵심 연구 목표

본 논문은 정적 데이터셋 기반의 평가가 LLM 기반 에이전트의 실제 역량(특히 동적 환경 및 다단계 상호작용)을 적절히 측정하지 못하는 문제점을 해결하고자 합니다. 에이전트의 추론, 협업, 상호작용 능력을 포괄적으로 평가할 수 있는 멀티모달 문서 이해 및 웹 상호작용 태스크를 자동으로 생성하는 프레임워크인 GRAPH2EVAL을 제안하는 것이 주요 연구 목표입니다.

핵심 방법론

GRAPH2EVAL은 멀티소스 외부 데이터(문서 및 웹)로부터 지식 그래프를 구축하여 태스크 생성 공간으로 활용합니다. 이 지식 그래프에서 하위 그래프 샘플링, 태스크 템플릿, 그리고 메타-패스를 통해 의미론적 관계를 구조화된 멀티모달 태스크로 변환합니다. 생성된 태스크의 품질과 실행 가능성을 보장하기 위해 노드 도달성, LLM 기반 스코어링, 및 유사성 분석에 기반한 다단계 필터링 파이프라인이 적용됩니다.

주요 결과

GRAPH2EVAL-BENCH라는 1,319개의 태스크(문서 이해 1,002개, 웹 상호작용 317개)로 구성된 데이터셋을 구축했습니다. 태스크 생성 효율성 면에서 문서 이해 태스크는 평균 34.87초, 웹 상호작용 태스크는 평균 95.51초가 소요되었습니다. 실험 결과, GRAPH2EVAL은 GPT-4o 및 Deepseek-V3와 같은 다양한 에이전트-모델 조합의 성능 차이를 효과적으로 구분했으며, 특히 Agent S 2.5가 SoM Agent보다 웹 상호작용에서 전반적으로 우수한 성능을 보여주었고, gemini-2.5-flash와 조합 시 69.20%의 성공률을 달성했습니다.

AI 실무자를 위한 시사점

GRAPH2EVAL은 LLM 기반 에이전트 평가를 위한 확장 가능하고 동적인 태스크 생성 방법을 제시하여 수동 데이터셋 구축의 병목 현상을 해결합니다. 지식 그래프 기반 접근 방식은 복잡한 추론, 멀티모달성, 그리고 다단계 상호작용을 포함하는 에이전트의 역량을 심층적으로 평가할 수 있는 토대를 마련합니다. 이는 다양한 에이전트 아키텍처와 LLM 모델의 강점과 약점을 파악하고, 에이전트 개발 및 개선 방향을 제시하는 데 실질적인 도움이 됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.