理解浏览器与桌面应用界面,将自然语言任务转化为可执行、可验证的电脑操作步骤。
产品介绍
Computer-Use Agent(CUA,电脑操作智能体)是面向电脑操作场景的 GUI 智能体能力。
客户提交用户任务指令(Query)、目标应用名称和当前界面截图后,CUA 可识别界面内容与操作上下文,并返回点击、输入、滚动等结构化操作指令。执行端完成当前操作并回传最新界面后,CUA 可继续规划下一步,直至返回任务结束状态。
核心能力
- 界面理解:识别页面中的文本、按钮、输入框、列表等关键元素,理解当前操作状态。
- 操作决策:结合用户目标与当前界面,生成点击、输入、滚动等下一步操作指令。
- 多步任务执行:通过“识别—决策—执行—反馈”的循环,持续推进多步骤任务。
- 结构化输出:以标准化 Tool Call 返回动作类型、操作坐标及输入内容,便于接入现有执行环境。
- 多应用适配:面向浏览器与桌面应用提供通用操作能力。
应用场景
- 浏览器任务处理:完成信息查询、条件筛选、页面操作和表单填写等多步骤任务。
- 桌面办公自动化:辅助操作企业系统及桌面软件,减少重复性人工操作。
- 跨系统流程执行:根据任务目标在多个网页或应用间衔接操作。
- 应用测试与流程验证:按照测试任务操作页面,验证登录、搜索、填写、提交等关键流程。
Demo 示例
Browser Use · 手机浏览器填表
任务指令:我刚落地新加坡,准备去新加坡旅游。我刚才在飞机上才知道,入境新加坡好像需要提交一个入境卡,叫 SG arrival card。请你帮我用浏览器提交一下。如果有什么信息需要我提供,你可以问我。查看 Demo 视频
跨端协同 · 手机 → 电脑
任务指令:找到手机相册里的所有收据,传到远程桌面的报销平台上传,识别收据内容填好每笔费用明细,然后提交审批。查看 Demo 视频