端侧 SDK 一期覆盖的三类典型场景
端侧 SDK 一期覆盖三类典型场景:结构化工具调用、本地数据 QA、端侧 GUI。每类场景对应端侧不同的能力模块。
包含单步 Tool 调用和短链 Tool 调用。
一期数据源范围包括:
会根据 GUI 团队提供的 4B 模型以及工程构造的 Harness 链路测试端侧的简单任务效果。
意图路由模块判断 query 应该在端侧还是云侧执行:
端侧结构化工具调用(系统控机)
包含单步 Tool 调用和短链 Tool 调用。
典型 Query 示例
| 类别 | 示例 Query |
|---|---|
| 设备与系统状态控制 | "把亮度调到 40%" |
| 系统服务任务 | "设置明天 7 点闹钟" |
| 本地数据对象操作 | "在备忘录中新建一条购物清单,内容是购买牛奶、鸡蛋" |
本地数据 QA
一期数据源范围包括:
- 日历
- 备忘录(笔记)
- 通知
- 短信
- 文本文件
- 单张图片
典型 Query 示例
- "我下周三有哪些会议?"
- "总结这份报告"
- "我之前记的旅行清单有哪些?"
- "保存图中的手机号到通讯录"
端侧 GUI
会根据 GUI 团队提供的 4B 模型以及工程构造的 Harness 链路测试端侧的简单任务效果。
一期仅看单个 App 不超过 5 个原子动作。
典型 Query 示例
- "在淘宝上搜索 Nike Air Force1 42 码鞋子的价格"
- "打开高德地图搜索此处到杭州西驾车所需的时间"
三类场景的分工
| 场景类型 | 主要模型 | 特点 |
|---|---|---|
| 结构化工具调用 | 端侧 PA 模型 | 快速响应,无需上云 |
| 本地数据 QA | 端侧 PA 模型 | 隐私敏感,本地闭环 |
| 端侧 GUI | 端侧 GUI 模型 | 短链路,仅覆盖单 App |
意图路由的作用
意图路由模块判断 query 应该在端侧还是云侧执行:
- 端侧闭环:简单规划、意图识别、本地数据 QA
- 上云处理:复杂多步任务、跨应用操作