Mobile Use Agent 支持的任务类型与输入输出规范
Mobile Use Agent 的核心价值在跨应用的复杂任务执行。本页汇总典型场景、输入输出规范和交互轮次定义。
一轮交互指用户向 GUI Agent Server 提交当前任务信息和手机界面截图，GUI Agent Server 完成一次分析，并返回 Action、Takeover 或 Finish 结果的完整过程。
覆盖需要在多个 App 之间跳转、传递上下文的复杂任务。例如：
在一个 App 内执行超过 5 个原子动作的任务。
涉及金钱、密码、生物验证等场景。Agent 会主动暂停并交给用户确认。
Mobile Use Agent 通常与其他 Agent 协作：
Agent 输入输出
| 项 | 说明 |
|---|---|
| Agent 输入 | Query + App 名称 + 手机界面截图 |
| Agent 输出 | 最终的 Action（点击/输入/滑动等原子操作）、Takeover 或 Finish |
一轮交互定义
一轮交互指用户向 GUI Agent Server 提交当前任务信息和手机界面截图，GUI Agent Server 完成一次分析，并返回 Action、Takeover 或 Finish 结果的完整过程。
单个用户任务可能包含多轮交互，实际计费轮次取决于完成任务所需的操作步骤数量。
典型场景分类
跨应用复杂任务
覆盖需要在多个 App 之间跳转、传递上下文的复杂任务。例如：
- 购物场景：抖音搜索笔记 → 提取食材 → 盒马下单
- 出行场景：12306 查车次 → 地图算通勤 → 钉钉排会议
单应用长链路任务
在一个 App 内执行超过 5 个原子动作的任务。
敏感操作场景
涉及金钱、密码、生物验证等场景。Agent 会主动暂停并交给用户确认。
三种执行结果
| 结果 | 含义 | 后续动作 |
|---|---|---|
| Action | 执行下一步操作 | 客户端执行操作后回传新截图 |
| Takeover | 交给用户接管 | 用户完成操作后由 Agent 继续 |
| Finish | 任务完成 | 结束本次任务 |
与其他 Agent 的协同
Mobile Use Agent 通常与其他 Agent 协作：
| 上游 Agent | 提供 |
|---|---|
| Plan Agent | 任务规划与拆解 |
| 意图路由（端侧 SDK） | 判断是否需要 GUI 操作 |
| Memory Agent | 用户偏好上下文 |