实时音视频
类别 | 配置项 | 说明 |
基础信息 | 智能体名称 | 设置智能体的名称,建议使用易于识别的业务名称。 |
| 角色模板 | 选择预设角色模板或自定义角色。
|
大模型 (LLM) | 大模型类型 | 选择驱动智能体对话能力的大模型类型。可选项:
注意 使用扣子平台、第三方大模型 / Agent 时,产生的 LLM Tokens 无法通过 License 或扩展资源抵扣。
|
| (方舟大模型相关配置) | 如果选择 方舟大模型,需要配置以下参数:
注意 说明 Doubao-1.5 及之前系列的模型,不支持同时使用视觉理解能力和 Function Calling 功能。
说明 实时对话场景建议关闭深度思考,以减少模型推理延迟,让对话更流畅。
|
| (扣子(Coze)相关配置) | |
| (第三方模型/Agent相关配置) | 如果选择 第三方大模型 / Agent,需配置以下参数:
说明
|
语音识别 (ASR) | ASR 服务 | |
| (流式语音识别相关配置) | 如果选择 流式语音识别,需配置以下参数:
|
语音合成 (TTS) | TTS 服务 | 选择语音合成服务。可选项:
|
| 选择合成声音 | |
欢迎语 | 欢迎语 WelcomeMessage | 设置智能体在对话开始时主动发送的问候语。 |
配置项 | 说明 |
语音打断 | 开启后,用户在设备播报时说话可打断播报,实现“插话”效果。 |
关键词打断 | 开启后,只有当用户说出特定关键词(如“停止”、“闭嘴”)时可打断播报。 仅在 语音打断 开启时生效。 |
VAD | 开启语音活动检测 (Voice Activity Detection),由服务端自动检测用户说话的开始和结束,决定回复的时机。 若不开启,则需要由设备端自行控制语音输入的开始和结束(例如通过按键触发)。 |
语义判停 | 开启后,服务端将结合语义理解来判断用户是否说完整句话,避免误打断用户说话(如因说话停顿等情形)。 |
音频快速发送 | 开启后,可优化弱网环境下语音对话的流畅度。 具体机制如下:服务端在每轮对话回复开始时,先将特定时长的音频数据一次性发送给客户端。客户端使用首段音频数据在本地建立播放缓冲区,用于对抗网络抖动。随后,服务端按照指定的时间间隔发送后续音频数据包。 说明 该功能需要嵌入式 Linux SDK 版本不低于 1.57 才能使用。 |
AI 降噪 | 开启后,服务端将对输入音频进行 AI 降噪处理(如过滤空调、风扇、敲键盘等环境噪声),以提升语音识别准确率。 |
字幕显示 | 开启后,可通过客户端接收字幕回调,实现在设备屏幕上显示字幕。 开关只影响是否开启客户端字幕回调。如需通过服务端接收字幕回调,需要配置以下参数:
|
上下文历史轮次 | 设置智能体记忆的对话轮数,用于维持对话上下文。例如,设置为 10,智能体会基于最近的 10 轮对话来理解上下文。 默认值:10。 |
Function calling | 为智能体配置调用外部工具来获取信息或执行操作(如调节设备音量、查询天气等)的能力。 说明 适用于所有支持 Function calling 的方舟大模型(推荐 Doubao-Seed-1.6)及第三方大模型 / Agent。 配置方式:
|