手机操作智能体的核心能力与产品目标
Mobile Use Agent（GUI Agent，手机操作智能体）理解并操作真实手机界面，可靠完成行动，并在关键步骤主动暂停，交由用户确认。
Mobile Use Agent 面向的是复杂跨应用任务执行：从用户一句话指令到手机界面上完成所有操作，包括：
Mobile Use Agent 标准版包含以下四个核心模块：
核心能力
Mobile Use Agent 面向的是复杂跨应用任务执行：从用户一句话指令到手机界面上完成所有操作，包括：
- 理解当前手机屏幕内容
- 规划操作路径
- 执行点击、滑动、输入等界面动作
- 在敏感操作前主动暂停并等待用户确认
- 遇到错误时进行路径纠正
典型任务示例
1
购物场景：跨应用查询与下单
"我今天晚上准备做百香果酸汤牛肉，在抖音搜索找到最多收藏的图文笔记，帮我收藏并记住要准备的食材，然后在盒马 App 里帮我购买笔记中提到的所有食材，不需要买调料，选择今日 18:45 送达并下单。"亮点：复杂任务理解 / 规划 / 执行，跨应用操作。
2
办公场景：出差安排与日程录入
"下周三我从北京回来，帮我看一下 12306 最早到杭州西的那班高铁几点到。然后查一下杭州西坐地铁到阿里巴巴西溪园区要多久，算一下我几点能到公司。最后在钉钉安排一个到达后整点的会议。主题写出差归来项目同步，参会人选我和张三。开一个小时，设置提前 5 分钟提醒。"亮点：复杂任务理解 / 规划 / 执行，跨应用操作。
一期核心模块
Mobile Use Agent 标准版包含以下四个核心模块：
| 模块 | 说明 |
|---|---|
| GUI Agent Server（含 Harness） | 主 GUI Agent 服务，含 Harness 工程模块 |
| 敏感接管模块 | 强制/可选接管机制，关键操作用户确认 |
| 技能管理 | 用户自定义 Skill 规则，无需重新训练 |
| 路径纠正指南 | 基于 badcase 的错误路径修正 |
产品目标
效果指标
- 任务成功率：模型当前在 AndroidDaily 和 MobileWorld-Real 两个 bench 上已达 SOTA 水平；产品目标超过豆包手机（当前豆包端到端通过率 84%）
- 产品体验：产品整体体感在 GSB 上超过豆包
性能指标
- 端到端平均时延：快于豆包（当前豆包端到端平均时延 4.7s）
Agent 交互流程
1
接收任务
客户端上传 Query + App 名称 + 手机界面截图。
2
分析规划
GUI Agent Server 进行分析。
3
返回结果
返回 Action、Takeover 或 Finish 三种结果之一。
4
敏感操作判定
若命中敏感接管规则，暂停并请求用户确认。
5
路径纠正
若执行失败，进入路径纠正逻辑。