Skip to main content
Mobile-Use Agent 手机操作智能体

操作说明

介绍如何开通 Mobile-Use Agent、创建并配置实例、管理自定义技能,以及维护路径纠正指南。

准备工作

注册并登录阿里云账号

使用阿里云账号登录千问智能控制台。首次使用时,请根据页面提示完成服务开通。

为 RAM 用户授权

如果使用阿里云主账号,可以直接进入控制台操作。如果使用 RAM 用户,请先由主账号完成以下授权:
  1. 进入 RAM 用户管理
  2. 选择需要使用 Mobile-Use Agent 的 RAM 用户。
  3. 添加系统策略 AliyunMassQIConsoleFullAccess
  4. 使用已授权的 RAM 用户重新登录千问智能控制台。
AliyunMassQIConsoleFullAccess 为控制台完整访问权限。请根据企业安全规范,仅向确有需要的 RAM 用户授权。

接入流程

1. 服务开通

在 Qwen Intelligence 控制台中进入 Mobile-Use Agent,首次使用时,点击 立即开通 完成服务开通。

2. 实例创建

进入 实例管理 页面,点击 创建实例,填写实例名称并选择实例版本。
创建 Mobile-Use Agent 实例

2.1 标准版

标准版面向通用 Mobile-Use Agent 操作场景,支持完整的实例配置能力,包括:
  • 敏感操作接管
  • 自定义技能
  • 配置发布

2.2 专属版

专属版面向配置了客户专属资源和专属模型的账号,适合定制化交付场景。
  • 未配置专属资源的账号选择专属版时,需联系人工完成专属资源配置,可以通过钉钉群或联系人咨询。
  • 已配置专属资源的账号可以直接创建专属版实例,并进入实例配置页面选择对应的专属模型。

3. 实例配置

点击实例卡片或实例的 配置 操作,进入实例配置详情页面。

3.1 敏感操作接管

用户可自行选择打开或关闭敏感操作接管模块。当 Mobile-Use Agent 执行到敏感操作或需要用户决策的步骤时,会暂停自动执行并发起接管,由用户确认或手动完成操作。
配置敏感操作接管
系统强制接管规则
以下接管类别由平台强制开启,用户不能关闭:
接管类别说明
页面限制读取页面内容受限或无法完整读取时,交由用户处理。
涉及金钱支付、转账、购买、下单确认等资金相关操作。
密码输入登录密码、支付密码等敏感凭证输入。
生物验证人脸、指纹等必须由用户本人完成的身份验证。
缺失必要信息继续执行前需要用户补充信息或作出判断。
可选接管类别
标准版实例支持按实际业务需求开启以下接管类别:
接管类别说明
验证(登录)登录验证或重新认证账号身份。
人机验证验证码、滑块或其他人机识别流程。
涉及法律和授权协议签署、授权确认及法律相关操作。
涉及本地数据和出厂设置访问本地数据、清除数据或恢复出厂设置。
涉及账号管理退出、注销、冻结或变更账号状态。
涉及订单取消订单、退款或申请售后等订单操作。
涉及社交发送消息、发布内容或其他对外社交行为。
用户要求确认用户在任务指令中明确要求执行前再次确认。

3.2 自定义技能

标准版实例会展示当前账号在 技能管理 页面创建的全部自定义技能,用户可按需求选择需要在该实例中配置的技能。
为实例配置自定义技能

3.3 发布配置

完成实例配置后,点击 发布配置 发布成功后,当前接管规则和自定义技能配置会在实例调用过程中生效。
发布实例配置

3.4 接入业务

实例配置发布完成后,可以进入 接入中心,按页面指引创建访问凭证,并根据 API 参考 完成业务调用。
在接入中心创建访问凭证

4. 技能管理

进入 Mobile-Use Agent 下的 技能管理 页面,可以创建和维护能够被多个实例复用的自定义执行策略。 例如:
在执行购物类应用商品购买任务时,进入搜索结果列表选品阶段后,应先收集符合条件的商品信息,查看 4 个商品的信息,并将商品详细内容汇总在接管页面,触发接管请我选择商品。
创建自定义技能

5. 路径纠正指南

路径纠正指南用于记录 Mobile-Use Agent 在真实任务中出现的错误执行路径,并向模型提供正确的执行方式。 例如,当 Agent 在跨应用操作中点击了错误入口、遗漏必要步骤或执行顺序不正确时,用户可以根据对应的 Session 创建路径纠正指南。
创建路径纠正指南
什么是Qwen Intelligence
Mobile Planner Agent 规划智能体
Mobile-Use Agent 手机操作智能体