概览 

AI 助手

AI 助手介绍

AI 助手是涂鸦提供的一款基于大语言模型的智能对话小程序，能够精准理解用户通过语音或文字输入的指令和需求。它不仅可以回答用户的各类问题，还能控制智能家居设备、执行定时任务、提供个性化建议等多种功能。通过自然语言交互方式，AI 助手为用户打造更便捷、更智能的生活体验，成为用户日常生活中的智能管家。

应用场景

• 智能家居控制：用户可以通过语音或文字给助手下达指令，控制家中的智能设备，如"打开客厅的灯"、"将空调温度调到 26 度"等。
• 信息查询：用户可以询问天气、新闻、日程安排等信息，AI 助手会提供准确的回答。
• 个性化建议：根据用户的使用习惯和偏好，提供个性化的建议，如节能提示、舒适场景推荐等。
• 定时任务管理：帮助用户设置和管理各类定时任务，如"每天早上 7 点打开窗帘"、"晚上 10 点关闭所有灯"等。

当前痛点

• 定制和扩展能力有限：涂鸦智能体小程序提供名称、图标、主题色等个性化配置，但定制和扩展能力有限。
• 开发成本高：开发者需要了解智能体相关 API 才能进行开发，上手难度大。

什么是 AI 智能体 SDK？

AI 智能体 SDK 是涂鸦提供的一款 SDK，帮助开发者在自己的小程序中集成 AI 对话功能。它提供了完整的对话界面、对话逻辑管理以及对话数据管理能力。

版本说明

⚠️ 重要提示：@ray-js/t-agent-plugin-assistant 已被废弃，请使用 @ray-js/t-agent-plugin-aistream 替代。

核心组件

• @ray-js/t-agent：通用对话框架，支持消息收发、生命周期管理和对话数据管理，具备插件机制。
• @ray-js/t-agent-plugin-aistream：对接小程序 AI 智能体平台的插件，支持流式对话、语音合成、语音识别等功能。
• @ray-js/t-agent-ui-ray：基于 Ray UI 的对话组件库，支持虚拟滚动、国际化、多模态交互等功能。

核心功能

• 自然语言理解：能够理解用户的口语化表达，无需用户记忆特定的指令格式。
• 多模态交互：支持语音、文字、图片、视频等多种输入方式，满足不同场景下的使用需求。
• 设备控制：可以控制涂鸦生态内的各类智能设备，实现一站式智能家居管理。
• 场景联动：支持创建和执行复杂的场景联动，如"回家模式"、"离家模式"等。
• 知识库查询：能够回答用户关于设备使用、家居管理等方面的问题。
• 个性化推荐：根据用户的使用习惯和偏好，提供个性化的建议和推荐。
• 语音合成：支持 TTS 语音合成，提供更自然的语音交互体验。
• 语音识别：支持 ASR 语音识别，准确识别用户的语音输入。
• 国际化支持：内置多语言支持，包括中英日德法西意等 8 种语言。

AI 智能体 SDK vs. AI 智能体小程序

在涂鸦的智能体开发平台创建智能体并绑定 App 或 PID 后，您可以使用 AI 智能体小程序，它提供名称、图标、主题色等个性化配置。但如果您需要在自己的小程序中集成 AI 对话，或深度定制功能和外观，则建议使用 AI 智能体 SDK。

对比分析

功能	AI 智能体小程序	AI 智能体 SDK
对接平台	智能体开发平台	智能体开发平台
设备控制	支持	支持
工作流	支持	支持
知识库	支持	支持
形态	独立小程序	npm 包
开发方式	无需代码开发	需要代码开发
定制能力	名称、颜色、欢迎语、背景图	界面、功能完全可定制
集成方式	小程序间跳转	可嵌入自有小程序
绘制图表	暂不支持	支持
卡片功能	暂不支持	支持自定义卡片
多智能体	暂不支持	支持
语音合成	暂不支持	支持 TTS 语音合成
语音识别	暂不支持	支持 ASR 语音识别
国际化	暂不支持	支持多语言国际化
虚拟滚动	暂不支持	支持长列表优化

如果您希望快速启用智能体对话功能，且不需要复杂定制，可以直接使用 AI 智能体小程序；如果需要深度集成 AI 对话到自有小程序，并进行个性化定制，AI 智能体 SDK 是更好的选择。

前置知识

智能体

为了实现智能体对话功能，需要在 涂鸦开发者平台 先创建智能体，配置并发布上线。

概述

涂鸦开发者平台集成了多种语言模型，为用户提供高效而灵活的智能体管理功能。用户可以通过配置和调试，轻松部署和运行智能体相关应用。了解更多操作步骤，请参考 智能体开发平台。

智能体核心能力

• 多模态交互：支持文本、图像、语音等多种交互方式
• 知识库管理：可导入自定义知识，增强智能体回答的专业性和准确性
• 工具调用：支持调用外部 API 和工具，实现更复杂的任务处理
• 场景定制：针对不同业务场景提供定制化配置，满足多样化需求
• 对话记忆：保持上下文连贯性，提供更自然的交互体验

OEM App

OEM App 是集智能产品使用、服务、运营、营销于一体的移动应用，并持续更新迭代，为终端用户提供优秀的使用体验，营造品牌口碑。了解更多详情，请参考 OEM App 开发。

OEM App 特点

• 品牌定制：支持定制 UI、功能和内容，打造专属品牌形象
• 多端支持：覆盖 iOS、Android 等多个平台
• 丰富组件：提供设备控制、场景联动等多种功能组件
• 快速开发：低代码开发平台，缩短上线周期
• 数据分析：内置用户行为分析工具，助力精细化运营

智能体与 OEM App 集成

通过将智能体集成到 OEM App 中，可以实现：

• 智能语音助手：用户可通过语音与 App 交互，控制设备
• 个性化服务：基于用户习惯和设备状态提供定制化建议
• 智能场景推荐：分析用户行为，自动推荐合适的智能场景
• 主动服务：预测用户需求，提前提供相关信息和服务

开发流程

1. 智能体创建与配置

   • 在涂鸦开发者平台创建智能体
   • 配置知识库和对话能力
   • 调试并发布智能体

2. OEM App 集成

   • 在 OEM App 中引入智能体 SDK
   • 配置智能体接入参数
   • 设计交互界面和体验流程

3. 测试与优化

   • 进行功能测试和性能测试
   • 收集用户反馈
   • 持续优化智能体能力和交互体验

4. 上线与运营

   • 发布应用更新
   • 监控智能体使用情况
   • 基于数据分析进行迭代优化

通用智能体开发解决方案——AI助手开发教程（二）