端侧 SDK 一期可用的三个模型
端侧 SDK 一期目前可用的模型有三个:端侧 PA 模型、意图路由模型、端侧 GUI 模型。
近期先进行模型和端到端的摸底测试,重点优化意图路由模块。
三个模型对比
| 项 | 端侧 PA 模型 | 意图路由模型 | 端侧 GUI 模型 |
|---|---|---|---|
| 参数规模 | Qwen3.5 4B VL Dense | 暂用 Qwen3.5 4B VL(大概率会再 SFT 一个小尺寸模型)Dense | Mobile_qwen35_mobile_v6_4b-real-device,4B Dense(3.5 系列) |
| 支持模态 | 文本 / 视觉(不包含 ASR、TTS 能力) | 文本 / 视觉(不包含 ASR、TTS 能力) | 文本 / 视觉 |
| 定制化后训练 | ✓ | ✓ | ✓ |
| 能力项 | 负责端侧可处理的简单规划、识别任务 | 根据用户 query 分发执行端(端侧/云侧) | 负责端侧简单 GUI 任务的规划和执行 |
目前缺口
目前暂缺 ASR、TTS、OCR 的单独小模型。考虑到 4B 模型进行常驻实时交互并不现实,后期有待补充此类小模型。
模型协同
1
意图路由分发
收到用户 query,意图路由模型判断上云或本地处理。
2
端侧 PA 处理规划
本地路径下,端侧 PA 模型完成任务规划。
3
工具或 GUI 调用
- 系统控机 → 调用工具集
- GUI 操作 → 调用端侧 GUI 模型
- 本地数据 QA → 端侧 PA 直接回答
对内目标
近期先进行模型和端到端的摸底测试,重点优化意图路由模块。
目前效果指标与性能指标暂无,属于早期能力打磨阶段。