Mobile Use Agent 的敏感操作识别与用户接管机制
Mobile Use Agent 在执行涉及敏感操作时主动暂停并交由用户确认。敏感接管分为强制接管和可选接管两类。
以下情况必须由用户接管,Agent 不会自行执行:
以下情况根据用户或客户配置决定是否接管:
除了 GUI 主模型外,敏感接管由独立模型判定:
标准版下,敏感接管作为固定模块内置。你可以:
强制接管类别(5 类)
以下情况必须由用户接管,Agent 不会自行执行:
| 类别 | 触发场景 |
|---|---|
| 页面限制读取 | 目标页面明确禁止程序读取 |
| 涉及金钱 | 支付、转账、充值等 |
| 密码输入 | 登录、解锁、支付密码等 |
| 生物验证 | 指纹、面容、声纹 |
| 缺失必要信息 | Agent 无法获取执行所需的关键信息 |
可选接管类别(8 类)
以下情况根据用户或客户配置决定是否接管:
| 类别 | 触发场景 |
|---|---|
| 验证(登录) | 账号登录相关操作 |
| 人机验证 | 图形验证码、滑块 |
| 涉及法律和授权 | 协议签署、权限授予 |
| 涉及本地数据和出厂设置 | 系统级配置修改 |
| 涉及账号管理 | 注册、注销、绑定 |
| 涉及订单 | 下单、退款、取消 |
| 涉及社交 | 发消息、评论、点赞 |
| 用户要求确认 | 用户在 Query 中明确要求确认 |
敏感接管模型
除了 GUI 主模型外,敏感接管由独立模型判定:
| 项 | GUI 主模型 | 敏感接管模型 |
|---|---|---|
| 参数规模 | 27B | 35B-A3B |
| 支持模态 | 文本 / 视觉 | 文本 / 视觉 |
敏感接管模型与主模型解耦,保证敏感判定的稳定性不受主模型迭代影响。
客户侧配置
标准版下,敏感接管作为固定模块内置。你可以:
- 使用默认的接管规则
- 通过控制台配置可选接管的开启项
交互流程
1
Agent 分析当前屏幕
检查即将执行的 Action 是否命中敏感规则。
2
返回 Takeover 结果
命中敏感规则时,Agent 返回
Takeover 结果并附带原因。3
用户接管完成操作
客户端 UI 提示用户,用户完成操作后回传新截图。
4
Agent 继续执行
根据新截图继续后续 Action。