Reproduce “SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction” on OpenResearch
Turn your favorite coding agents into research agents that review literature, develop hypotheses, and run experiments.
Universal app for Apple silicon and Intel. Requires macOS 11 or later.
About this paper
Xue Yu, Bo Yuan, Kailin Zhao, Pengshuai Yang, Hong Hu, Junlan Feng
SeerGuard는 모바일 GUI 에이전트의 안전성을 사용자 지시와 실행 직전의 예상 결과를 함께 점검하는 방식으로 다룬다. Qwen3-VL-8B-Instruct 기반 안전 증강 월드 모델이 화면과 후보 행동으로부터 의미적 다음 상태를 예측해 위험 행동을 차단하며, MobileSafetyBench에서 GPT-5.1·Gemini-3.1·Qwen3-VL의 위험 비용 점수를 각각 0.301→0.145, 0.368→0.180, 0.347→0.135로 낮췄다.
Key insights
- 정확한 픽셀 수준의 미래 화면을 생성하지 않아도 결제 페이지 열기, 메시지 전송, 보안 설정 변경과 같은 기능적 결과를 예측하면 GUI 행동의 안전성을 판단할 수 있다.
- 지시 필터와 행동 평가기는 서로 다른 위험을 포착하며, 특히 초기 지시만으로는 드러나지 않는 앱 내부의 맥락적 위험을 행동 수준 모듈이 보완한다.
- 안전 전용 데이터 증강이 없으면 일반적인 GUI 다음 상태 예측 능력이 위험 탐지로 그대로 이어지지 않으며, 위험이 시작되는 시점을 찾는 단계별 평가도 중요하다.
Summary by alphaXiv.
Tip: change arxiv.org to autoarxiv.org in any arXiv abstract link to open the paper here.