☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
机智客AIxiv专栏持续发布前沿学术与技术内容。多年来，已报道2000余篇来自全球顶尖高校和企业实验室的成果，有力推动学术交流与传播。欢迎优秀研究者投稿或联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
共同一作孙秋实，香港大学博士生，新加坡国立大学硕士毕业，研究方向涵盖LLM Agents和神经代码智能。共同一作金川杨，约翰霍普金斯大学博士生，纽约大学专业第一毕业，其开发的心智能力测试MMToM-QA荣获ACL 2024杰出论文奖。上海人工智能实验室吴志勇团队此前已发布OS-Copilot、OS-Atlas、SeeClick等系列成果。
- 论文题目：OS-Genesis：基于逆向任务合成自动构建GUI Agent轨迹
- 项目地址：https://www.php.cn/link/ad20360c1ad60f8f5d9223a28907d7ba
- 研究机构：上海人工智能实验室，香港大学，上海交通大学，约翰霍普金斯大学，牛津大学，香港科技大学
1. 研究背景与动机
高效的数字代理需要具备两项关键能力：（1）规划能力：将高级指令分解成可执行的子目标；（2）执行能力：根据当前目标执行相应操作。
高质量GUI代理的构建依赖于丰富的GUI轨迹数据，但此类数据极其稀缺，成为该领域的核心挑战。典型的GUI轨迹数据包含：
- 高级指令：例如，“将Broccoli应用中的‘Avocado Toast with Egg’添加到收藏夹”。
- 低级指令：例如，“点击‘Avocado Toast with Egg’查看更多选项”。
- 动作：例如，“CLICK [Avocado Toast with Egg]”。
- 状态：动作前后界面截图及GUI的a11ytree结构。
现有轨迹数据采集方法依赖人工标注或基于预定义任务的合成数据，存在局限性：
- 人工采集成本高昂：需要手动设计指令并记录每一步操作。
- 合成数据局限性：基于模型生成的轨迹数据依赖预定义任务，限制了数据多样性，且容易与真实环境脱节。
因此，高效低成本地构建GUI Agent轨迹数据至关重要。为此，本文提出OS-Genesis：一个无需人工监督的高质量GUI数据合成框架。
2. OS-Genesis框架
OS-Genesis的核心思想是通过探索性地交互GUI环境，捕捉动作及其前后状态变化。
然后，基于这些变化逆向生成高质量的低级指令（例如，“点击Calendar应用”），并根据环境推导出高级指令（例如，“添加日程：阅读本站文章”）。模型执行这些合成指令，无需人工干预和预定义任务，实现高效多样化的GUI轨迹数据生成。具体方法如下：
2.1 逆向任务合成
逆向任务合成是OS-Genesis的核心，它摆脱了对人工/机器预定义任务的依赖。流程如下：
- 动作记录与状态捕捉: 系统性地执行基本动作（CLICK、TYPE、SCROLL等），生成大量三元组数据〈状态前，动作，状态后〉 (〈spre, action, spost〉)。
- 低级指令生成: 利用GPT-4模型将三元组转换为低级指令，例如将“点击下拉菜单以显示选项”。
- 高级任务生成: 结合低级步骤和GUI环境，生成高级指令，例如，“配置应用程序设置”。
2.2 轨迹构建与奖励模型
逆向任务合成生成的高级指令用于探索GUI环境，构建完整轨迹数据。奖励模型（Trajectory Reward Model, TRM）评估和筛选轨迹质量：
- 轨迹执行: GUI agent执行一系列动作完成任务，轨迹包含高级指令、低级指令、动作序列和状态信息。
- 轨迹奖励模型（TRM）: 根据完成度和一致性分配奖励分数。
- 奖励驱动的数据筛选: 高奖励分数的轨迹优先用于模型训练。
3. 实验结果
本文在动态环境（AndroidWorld、AndroidControl和WebArena）中进行了实验，评估OS-Genesis合成数据训练的agent性能。
3.1 模型与基线
- VLMs: InternVL2-4B/8B, Qwen2-VL-7B-Instruct, GPT-4o (作为强基线)
- 基线: Zero-Shot, Task-Driven, Self-Instruct
3.2 移动端实验结果
在AndroidWorld（域内实验）中，OS-Genesis显著提升了任务成功率。在AndroidControl（域外实验）中，OS-Genesis在高阶和低阶任务中均表现出色，展现了强泛化能力。
3.3 Web端实验结果
在WebArena中，OS-Genesis也显著优于基线方法，尤其在复杂交互式网页任务中。
4. 数据分析
本文将OS-Genesis生成的数据与人工标注数据进行了对比分析，包括高阶指令和完整轨迹对比。结果表明，OS-Genesis显著缩小了合成数据与人工标注数据之间的性能差距。
5. 总结与展望
OS-Genesis为构建GUI Agent提供了一种全新的方法，克服了以往数据构建中的关键瓶颈。实验结果证明了其在构建高质量GUI Agent上的有效性，为数字世界自动化提供了新的方向。
