← 回總覽

浏览器秒变手机!中科院开源 Agent 训练场,微信、原神都能跑

📅 2026-06-02 12:00 新智元 人工智能 2 分鐘 1693 字 評分: 90
MobileGym Mobile Agent 安卓仿真 强化学习 GUI Agent
📌 一句话摘要 中科院自动化所开源 MobileGym,一个运行在浏览器中的轻量级安卓仿真平台,通过结构化 JSON 状态实现可读、可写、可复制的环境,为 Mobile Agent 提供低成本、高并发的训练与评测基础设施。 📝 详细摘要 本文介绍了中科院自动化所模式识别实验室开源的 MobileGym 项目,这是一个完全运行在浏览器中的安卓仿真平台。核心创新在于用结构化 JSON 表示整个环境状态,解决了真实 App 状态读不到、改不回、复制不了的三大难题。平台覆盖 28 个 App(含微信、支付宝、小红书等国民级应用),单个实例仅需 400MB 内存、3 秒冷启动,一台服务器可并行运行数

📌 一句话摘要

中科院自动化所开源 MobileGym,一个运行在浏览器中的轻量级安卓仿真平台,通过结构化 JSON 状态实现可读、可写、可复制的环境,为 Mobile Agent 提供低成本、高并发的训练与评测基础设施。

📝 详细摘要

本文介绍了中科院自动化所模式识别实验室开源的 MobileGym 项目,这是一个完全运行在浏览器中的安卓仿真平台。核心创新在于用结构化 JSON 表示整个环境状态,解决了真实 App 状态读不到、改不回、复制不了的三大难题。平台覆盖 28 个 App(含微信、支付宝、小红书等国民级应用),单个实例仅需 400MB 内存、3 秒冷启动,一台服务器可并行运行数百个环境。配套的 MobileGym-Bench 包含 416 个参数化任务模板,可衍生超 27000 个实例,9 个顶尖 Agent 模型在测试中最高仅获 58.8% 成功率。训练方面,使用 GRPO 算法微调 Qwen3-VL-4B 后,测试集成功率从 9.4% 提升至 22.2%,且 95.1% 的模拟训练增益可迁移至真机。平台还引入 USE(意外副作用)指标,可检测 Agent 在执行任务时的额外操作,为 AI 安全对齐研究提供理想沙箱。

💡 主要观点

- MobileGym 通过浏览器仿真和结构化 JSON 状态,解决了真实 App 状态不可控的难题。 用结构化 JSON 表示整个环境状态,实现可读(程序直接校验)、可写(任意配置重置)、可复制(毫秒级快照),彻底解决模拟器风控和真机成本问题。

同一套可验证信号同时服务于评测和训练,实现考练一体。 程序化状态校验既是评测的确定性成绩单,也是强化学习的奖励信号,无需调用昂贵的大模型当裁判,评测成本降为 0。
平台轻量化设计支持大规模并行,一台服务器可替代一个机房。 单个实例仅 400MB 内存、3 秒冷启动,一台服务器可开 256 个并行环境,相比传统方案(10 台服务器、3840GB 内存)成本大幅降低。
模拟训练成果可有效迁移至真机,验证了仿真环境的实用性。 训练后模型在真机信号任务上成功率从 32.2% 提升至 72.9%,95.1% 的模拟训练增益成功迁移,证明仿真环境具有实际应用价值。
USE 指标可检测 Agent 的意外副作用,为 AI 安全对齐提供新工具。 通过对比任务前后全环境状态,发现即使成功率相近的模型,意外操作概率可相差近 2 倍,为高风险操作的安全研究提供零后果沙箱。

💬 文章金句

- 让 AI 像人一样操作手机,是过去一年最火的赛道之一。

  • 既然真实 App 的状态读不到、改不回、也复制不了——那干脆别在真机上死磕了:索性自己在浏览器里造一个仿真的安卓世界。
  • GUI Agent 的眼里只有截图,手里只有点击。
  • MobileGym 把整个环境的状态——App 数据、系统设置、设备信息——全部用一份结构化 JSON 来表示。
  • 同一套可验证信号,既是评测的成绩单,又是训练的奖励——一套环境,考、练通吃。

📊 文章信息

AI 初评:90

来源:新智元

作者:新智元

分类:人工智能

语言:中文

阅读时间:20 分钟

字数:4912

标签: MobileGym, Mobile Agent, 安卓仿真, 强化学习, GUI Agent

阅读完整文章

查看原文 → 發佈: 2026-06-02 12:00:00 收錄: 2026-06-02 20:00:49

🤖 問 AI

針對這篇文章提問,AI 會根據文章內容回答。按 Ctrl+Enter 送出。