Skip to main content

Computer-Use Agent 电脑操作智能体

理解浏览器与桌面应用界面,将自然语言任务转化为可执行、可验证的电脑操作步骤。

产品介绍

Computer-Use Agent(CUA,电脑操作智能体)是面向电脑操作场景的 GUI 智能体能力。 客户提交用户任务指令(Query)、目标应用名称和当前界面截图后,CUA 可识别界面内容与操作上下文,并返回点击、输入、滚动等结构化操作指令。执行端完成当前操作并回传最新界面后,CUA 可继续规划下一步,直至返回任务结束状态。

核心能力

  • 界面理解:识别页面中的文本、按钮、输入框、列表等关键元素,理解当前操作状态。
  • 操作决策:结合用户目标与当前界面,生成点击、输入、滚动等下一步操作指令。
  • 多步任务执行:通过“识别—决策—执行—反馈”的循环,持续推进多步骤任务。
  • 结构化输出:以标准化 Tool Call 返回动作类型、操作坐标及输入内容,便于接入现有执行环境。
  • 多应用适配:面向浏览器与桌面应用提供通用操作能力。

应用场景

  • 浏览器任务处理:完成信息查询、条件筛选、页面操作和表单填写等多步骤任务。
  • 桌面办公自动化:辅助操作企业系统及桌面软件,减少重复性人工操作。
  • 跨系统流程执行:根据任务目标在多个网页或应用间衔接操作。
  • 应用测试与流程验证:按照测试任务操作页面,验证登录、搜索、填写、提交等关键流程。

Demo 示例

Browser Use · 手机浏览器填表

任务指令:我刚落地新加坡,准备去新加坡旅游。我刚才在飞机上才知道,入境新加坡好像需要提交一个入境卡,叫 SG arrival card。请你帮我用浏览器提交一下。如果有什么信息需要我提供,你可以问我。
查看 Demo 视频

跨端协同 · 手机 → 电脑

任务指令:找到手机相册里的所有收据,传到远程桌面的报销平台上传,识别收据内容填好每笔费用明细,然后提交审批。
查看 Demo 视频