实时音视频
实时音视频
文档指南
请输入
- 文档首页
实时音视频硬件对话智能体服务端 API智能体创建智能体 AibotCreate
复制全文
下载 pdf创建智能体 AibotCreate
文档反馈
问问助手创建一个硬件对话智能体，并配置 ASR（自动语音识别）、LLM（大语言模型）和 TTS（文本转语音）等。
使用说明
该接口可用于创建 平台智能体 和 设备智能体。
请求说明
- 请求方式：POST
- 请求地址：https://rtc.volcengineapi.com?Action=AibotCreate&Version=2025-08-01
请求参数
Query
Action String 必选示例值：AibotCreate
接口名称。当前 API 的名称为 AibotCreate。
Version String 必选示例值：2025-08-01
接口版本。当前 API 的版本为 2025-08-01。
Body
Name String 必选示例值：客服机器人
智能体名称，用于标识智能体。
AccessType String 必选示例值：public
智能体类型：
- public：平台智能体，可关联到产品并在控制台管理。
- private：设备智能体（用户自定义），只能绑定到设备，不支持控制台编辑。
Config Object 必选示例值：-
智能体交互服务配置，包括语音识别（ASR）、语音合成（TTS）、大模型(LLM)、字幕和函数调用（Function Calling）、音乐播放（MusicAgent）等配置。
ASRConfig Object 必选示例值：-
语音识别（ASR）相关配置。
Provider String 必选示例值：volcano
语音识别服务的提供商。该参数固定取值：volcano，表示火山引擎语音识别服务。支持以下模型服务：
- （推荐）火山引擎流式语音识别大模型。
- 火山引擎流式语音识别。
ProviderParams 必选示例值：-
服务配置参数。不同服务，ProviderParams 包含的字段不同：
火山流式语音识别大模型 Object
使用火山引擎流式语音识别大模型时，你需要在 ASRConfig.ProviderParams 里配置以下字段：
ApiResourceId String 可选 示例值：volc.bigasr.sauc.duration
指定要使用的流式语音识别服务版本。取值：
- volc.bigasr.sauc.duration（默认值）：1.0 小时版。
- volc.seedasr.sauc.duration ：2.0 小时版。
推荐使用 2.0 版本。2.0 相比与 1.0，在识别准确率和功能上均有提升。
注意
如果使用 2.0 版本，必须设置 StreamMode 为 1 或 2。
Mode String 必选示例值：bigmodel
模型类型。该参数固定取值：bigmodel，表示火山引擎语音识别大模型。
StreamMode Integer 可选 示例值：0
语音识别结果的返回模式。不同模式在实时性、准确率和适用场景上有所区别。取值：
- 0（默认值）：流式返回。识别结果会分段、实时地返回。适用实时性要求高的场景，如实时字幕。
- 1：一次性返回。在接收并处理完整个语音流后，一次性返回最终识别结果。该模式的识别准确率更高。适用准确率要求高、对实时性要求不高的场景，如会议录音转写。
- 2：双向流式。在实时返回分段结果的同时，对检测到的完整语句进行二次优化，然后返回更准确的结果，兼顾了高实时性与高准确率。适用需要在实时反馈的同时获得更高准确率的场景。
- 您还可以通过将 enable_nonstream 参数设为 true 来开启二次识别，进一步提升准确率。
注意
当 ApiResourceId 为 volc.seedasr.sauc.duration (2.0 版本) 时，支持的 StreamMode 仅有 1 和 2 ，推荐使用 2。
context String 可选 示例值："{\"hotwords\": [{\"word\": \"CO2\"},{\"word\": \"雨伞\"},{\"word\": \"鱼\"}]}"
热词直传（通过JSON 字符串直接传入）。
如果某些词汇（比如人名、产品名等）的识别准确率较低，可以将其作为热词传入 ASR 模型，提高输入词汇的识别准确率。例如传入"雨伞"热词，发音相似的词会优先识别为“雨伞”。
- 大小限制：热词库的大小需控制在 200 tokens 以内，超出会自动截断。
- 格式要求（JSON 字符串）：
-
context_history_length Integer 可选 示例值：0
上下文轮次。将最近指定轮数会话内容送入流式语音识别大模型，有助于模型理解当前对话的背景，从而提升大模型识别准确性。
取值范围：[0, 21)。默认值：0 ，表示不开启该功能。
enable_nonstream Boolean 可选 示例值：true
是否在双向流式（StreamMode: 2）的基础上开启二次识别。取值：
- false（默认值）：不开启。
- true：开启。开启后，当用户的说话停顿时间超过 ASRConfig.VADConfig.SilenceTime 定义的阈值时，系统会对该分句的音频进行一次额外的、更精确的识别，并返回优化后的结果。
说明
enable_nonstream参数仅在 StreamMode 为 2时才生效。
火山流式语音识别 Object
使用火山引擎流式语音识别时，识别速度快。你需要在 ASRConfig.ProviderParams 里配置以下字段：
Cluster String 必选示例值：volcengine_streaming_common
Mode String 必选示例值：smallmodel
模型类型。该参数固定取值：smallmodel，表示火山引擎流式语音识别模型。
VADConfig Object 可选 示例值：-
VAD（语音检测） 配置。
SilenceTime Integer 可选 示例值：600
判停时间。用户停顿时间若高于该值设定时间，则认为一句话结束。
取值范围为 [500，3000)，单位为 ms，默认值为 600。
AIVAD Boolean 可选 示例值：false
是否开启智能语义断句：
- true：开启。启用后系统会结合 AI 模型对语义完整性的判断和 SilenceTime 来进行断句，能更准确地处理长句中的自然停顿，有效避免将一句话错误切分。
- 开启 AIVAD 后，为了在不同场景下达到最佳的断句效果和响应延迟，建议组合使用参数 SilenceTime 和 LLMConfig.Prefill。具体配置建议，请参见推荐配置。
- false（默认值）：关闭。
注意
AIVAD 功能目前在限时免费公测阶段。
VolumeGain Float 可选 示例值：0.3
音量增益值。增益值越低，采集音量越低。适当低增益值可减少噪音引起的 ASR 错误识别。
默认值为 1.0，推荐值 0.3。
InterruptConfig Object 可选 示例值：-
语音打断配置，支持：基于说话时长打断、关键词打断。
InterruptSpeechDuration Integer 可选 示例值：500
自动打断的触发阈值，即真人用户持续说话时间达到设定值，智能体才自动停止输出。
- 取值范围：0 或 [200，3000]，单位为 ms。值越大，智能体越不容易被打断。
- 默认值：0，表示用户发出声音且包含真实语义时，即打断智能体输出。
InterruptKeywords String[] 可选 示例值：["停止", "停下"]
触发打断的关键词列表。当用户语音中识别到列表中的任意关键词时，智能体将立即停止输出。
若配置该参数，只有识别到配置的打断词时才会触发打断，以降低背景环境人声误打断的干扰。使用该参数时，建议 InterruptSpeechDuration 设置为 0，避免自动打断触发阈值过高，导致关键词打断不生效。
TurnDetectionMode Integer 可选 示例值：0
新一轮对话的触发方式。
- 0（默认值）：服务端检测到完整的一句话后，自动触发新一轮对话。
- 1：收到输入结束信令或说话字幕结果后，你自行决定是否触发新一轮会话。
TTSConfig Object 必选示例值：-
语音合成（TTS）相关配置。
Provider String 必选示例值：-
语音合成服务提供商，使用不同语音合成服务时，取值不同。支持使用的语音合成服务及对应取值如下：
- volcano_bidirection
- 火山引擎语音合成大模型
- 火山引擎声音复刻大模型
- volcano：火山引擎语音合成
ProviderParams 必选示例值：-
配置所选的语音合成服务。不同服务下，该结构包含字段不同：
- （推荐）火山语音合成大模型
（推荐）火山语音合成大模型 Object 示例值：-
使用火山引擎语音合成大模型服务流式输入流式输出模式时，你需要在 TTSConfig.ProviderParams 里配置以下字段：
audio Object 必选示例值：-
火山引擎语音合成大模型服务音频配置。
pitch_rate Integer 可选 示例值：0
音调。取值范围为 [-12, 12]。默认值为 0。取值越大，音调越高。
speech_rate Integer 可选 示例值：0
语速。取值范围 [-50, 100]，取值越大，语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
ResourceId String 必选示例值：volc.service_type.10029
调用服务的资源信息 ID。支持的取值如下：
- seed-tts-1.0或volc.service_type.10029（默认值）：语音合成大模型 1.0 字符版
- seed-tts-2.0：语音合成大模型 2.0 字符版
Additions Object 可选 示例值：-
火山引擎语音合成大模型服务高级配置。
enable_latex_tn Boolean 可选 示例值：true
是否播报 Latex 公式。
- true：播报。 为true 时，disable_markdown_filter 也需为 true 才生效。
- false：不播报。
默认值为 false。
disable_markdown_filter Boolean 可选 示例值：true
是否对 Markdown 格式内容进行过滤。
- true：过滤；例如，**你好**，会读为“你好”。
- false：不过滤。例如，**你好**，会读为“星星你好星星”。
默认值为 false。
火山引擎语音合成 Object 示例值：-
使用火山引擎语音合成时，合成速度快，你需要在 TTSConfig.ProviderParams 里配置以下字段：
audio Object 必选示例值：-
火山引擎语音合成服务音频配置。
voice_type String 必选示例值：BV001_streaming
speed_ratio Float 可选 示例值：1.0
语速。取值范围为 [0.2, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，语速越快。
volume_ratio Float 可选 示例值：1.0
音量。取值范围为 [0.1, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，音量越高。
pitch_ratio Float 可选 示例值：1.0
音高。取值范围为 [0.1, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，音调越高。
火山声音复刻大模型 Object 示例值：-
说明
你需要在 TTSConfig.ProviderParams 里配置以下字段：
audio Object 必选示例值：-
火山引擎声音复刻大模型服务音频配置。
voice_type String 必选示例值：S_NI****7k1
speech_rate Integer 可选 示例值：0
语速。取值范围 [-50, 100]，取值越大，语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
ResourceId String 必选示例值：seed-icl-2.0
指定要使用的声音复刻大模型服务版本。需要与您在 voice_type 中指定的音色版本一致：
- seed-icl-1.0：声音复刻大模型 1.0
- seed-icl-2.0：声音复刻大模型 2.0
Additions Object 可选 示例值：-
火山引擎声音复刻大模型服务高级配置。
enable_latex_tn Boolean 可选 示例值：true
是否播报 Latex 公式。启用后，AI 能够以自然语言朗读文本中的 LaTeX 格式的数学公式。
- false（默认值）：不播报。
- true：播报。为 true 时，disable_markdown_filter 也需为 true 才可生效。
效果示例：
- LLM 返回：根据公式 a^2 + b^2 = c^2 可知...
- AI 播报：根据公式 a 的平方加上 b 的平方等于 c 的平方 可知...
- 字幕显示：根据公式 a^2 + b^2 = c^2 可知...
disable_markdown_filter Boolean 可选 示例值：true
是否对 Markdown 格式内容进行过滤。
启用后，语音合成时会自动过滤 LLM 返回文本中的 Markdown 格式符号（如加粗、标题等），确保语音播报的连贯性。
- true：过滤；例如，**你好**，会读为“你好”。
- false（默认值）：不过滤。例如，**你好**，会读为“星星你好星星”。
enable_language_detector Boolean 可选 示例值：false
是否自动识别语种。
- true：自动识别。
- false：不自动识别。
默认值为 false。
IgnoreBracketText Integer[] 可选 示例值：[1,2]
支持取值及含义如下：
- 1：中文括号（）
- 2：英文括号()
- 3：中文方括号【】
- 4：英文方括号[]
- 5：英文花括号{}
默认值为空，表示不进行过滤。
说明
若大模型返回的内容中，包含在标点符号里的内容在最末端，且为独立句子，其后无包含真实语义内容，该标点符号中的内容不会出现在字幕中。
- 示例 1：如大模型返回的内容为：当然可以，尽管问，我知无不言！(自信满满)。，
- 此时（自信满满）。不会出现在字幕里。
- 示例 2：如大模型返回的内容为：当然可以，尽管问，我知无不言(自信满满)！，
- 此时（自信满满）会出现在字幕里。
LLMConfig 必选示例值：-
大模型相关配置。支持的大模型平台如下：
火山方舟平台 Object
使用火山方舟平台时，你需要在 LLMConfig 里配置以下字段：
Mode String 必选示例值：ArkV3
大模型平台标识。使用火山方舟平台时，该参数固定取值：ArkV3。
ModelName String 必选示例值：Doubao-Seed-1.6｜250615
Temperature Float 可选 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。
取值范围为 (0, 1]，默认值为 0.1。
TopP Float 可选 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
取值范围为 [0, 1]，默认值为 0.3。
SystemMessages String[] 可选 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
系统提示词。用于输入控制大模型行为方式的指令，定义了模型的角色、行为准则，特定的输出格式等。
UserPrompts Object 可选 示例值：[ { "Role": "user", "Content": "你好" }, { "Role": "assistant", "Content": "有什么可以帮到你的？" }, { "Role": "user", "Content": "你是谁？" }, { "Role": "assistant", "Content": "我是你的智能问答助手。" }]
用户提示词，可用于增强模型的回复质量，模型回复时会优先参考此处内容，引导模型生成特定的输出或执行特定的任务。
UserPrompts 存储的对话轮数受 HistoryLength 控制。例如 UserPrompts 中预先存储了两轮对话，HistoryLength 设置为 3，用户已进行了三轮对话，第四轮会话开始时，UserPrompts 中存储的内容会被全部删除。
注意
UserPrompts 中 Role 的支持取值 system、user 和 assistant，且 user 和 assistant必须成对出现，否则大模型可能会出现未定义行为。
HistoryLength Integer 可选 示例值：3
历史问题轮数。默认值为 3。
取值范围：在调用模型时需要确保所有 UserPrompts 和 SystemMessage 消息文本总长度不超过大模型上下文长度。
例如：历史问题轮数为 3，使用 Skylark2-lite-8k 大模型，长度限制为 8k，UserPrompts 预先存储了两轮对话，用户输入了第一轮会话的问题，此时 SystemMessages+UserPrompts+第一轮会话问题总长度不超过8k。
Tools Object[] 可选 示例值：-
定义一组可供模型在 Function Calling 功能中调用的工具。
注意
Function calling 功能不支持和联网插件或知识库插件同时使用。
type String 可选 示例值：function
工具类型。可取值及含义如下：
function：函数调用。
function Object 可选 示例值：-
模型可以调用的工具列表。
name String 必选示例值：get_current_weather
函数的名称。
description String 可选 示例值：获取指定城市的天气信息
对函数用途的描述，供模型判断何时以及如何调用该工具函数。
Prefill Boolean 可选 示例值：false
将 ASR 中间结果提前送入大模型进行处理。
- true：开启。启用后，允许将 ASR 识别中间结果提前发送给大模型进行处理，以降低延时。
- false：关闭。等待 ASR 模块识别出相对完整的一句话后再送入大模型处理。
默认值为 false。
注意
开启后会产生额外模型消耗。
VisionConfig Object 可选
视觉理解能力配置。
注意
- 该功能仅在使用支持视觉理解的模型时才生效，例如Doubao-Seed-1.6 | 250615。
- Doubao 1.5 及之前系列的模型，不支持同时使用视觉理解能力和 Function Calling 功能。
Enable Boolean 可选 示例值：true
是否开启视觉理解功能。取值：
- false：不开启。
- true：开启。
默认值为 false。
SnapshotConfig Object 可选 示例值：-
抽帧截图配置。智能体会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 可选 示例值：0
截图流类型。取值：
0：主流。
1：屏幕流。
默认值： 0。
ImageDetail String 可选 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
默认值为 auto。
Height Integer 可选 示例值：640
送入大模型的截图帧的高度。取值范围：[1, 1792]，单位：像素。默认值：360。
帧宽度将按照画面原始尺寸及指定的帧高度按比例计算。
Interval Integer 可选 示例值：1000
相邻截图之间的间隔时间。取值范围： [100, 5000]，单位：毫秒。默认值： 1000。
ImagesLimit Integer 可选 示例值：2
单次送入大模型的截图数量。 取值范围：[1, 50]。默认值：2。
StorageConfig Object 可选 示例值：-
截图存储配置。
Type Integer 可选 示例值：0
存储类型。取值：
- 0：按照 Base 64 编码存入服务端缓存，会话结束后自动删除。
- 1：存储至 TOS 平台。
TosConfig Object 可选 示例值：-
TOS 存储配置。
AccountId String 可选 示例值：200000000
火山引擎平台账号 ID。
- 此账号 ID 为火山引擎主账号 ID。查看路径参看查看和管理账号信息。
- 若你调用 OpenAPI 鉴权过程中使用的 AK、SK 为子用户 AK、SK，账号 ID 也必须为火山引擎主账号 ID，不能使用子用户账号 ID。
Region Integer 可选 示例值：0
默认值为 0。
注意
该字段填入的存储桶区域需要与你在 TOS 平台创建存储桶时选择的区域相同。
Bucket String 可选 示例值：b****t
ThinkingType String 可选 示例值：disabled
关闭或开启大模型的深度思考能力。若你使用的是具备深度思考能力的模型，强烈建议通过该字段关闭模型的深度思考能力（disabled），以避免智能体回复耗时过长，影响对话的流畅性。
可取值及含义如下：
- disabled（推荐）：关闭深度思考能力。
- enabled：开启深度思考能力。开启后，会增加推理时延迟，且思考内容会丢失，也不会被输出。
- auto：模型自行判断是否需要开启深度思考能力（比如根据对话复杂度判断）。
- null（默认值）：采用模型自身的默认行为。null 是一个关键字，在构建 JSON 请求传入时无需引号。示例：{"ThinkingType": null}。
注意
MCP Object[] 可选 示例值：-
注意
- 为保证接入效果，使用方舟模型时，建议使用模型 doubao-seed-1-6。
- doubao-seed-1-6-thinking 强制开启思考模式，不可关闭，在实时对话式 AI 场景可能造成较高时延，不建议使用。
- MCP Server 必须支持 SSE 协议。
URL String 必选示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
配置 MCP 时，该字段为必填。
ComfortWords String 可选 示例值：正在处理中...
当智能体调用 MCP 工具时，向用户播放的安抚语内容。
InterestedTools String[] 可选 示例值：["search_knowledge"]
指定需要关注的工具列表。
- 若数组为空或不传，MCP Server 提供的所有工具都将被添加到 LLM 上下文中。
- 若数组不为空，则仅将数组中指定的工具添加到 LLM 上下文中。
Name String 必选示例值：knowledge
触发 MCP 工具调用的名称。
配置 MCP 时，该字段为必填。
Coze平台 Object
使用 Coze 平台时，你需要在 LLMConfig 里配置以下字段。
Mode String 必选示例值：CozeBot
大模型平台名称。该参数固定取值：CozeBot。
CozeBotConfig Object 必选示例值：-
Coze 智能体配置。
Url String 必选示例值：https://api.coze.cn
请求地址。该参数固定取值：https://api.coze.cn
BotId String 必选示例值：73428668
Coze 智能体 ID。
可前往你需要调用的智能体开发页面获取。开发页面 URL 中 bot 参数后的数字即智能体ID。例如开发页面 URL 为：https://www.coze.cn/space/341/bot/73428668，则 BotId 为 73428668。
APIKey String 必选示例值：czu_UEE2mJn66h0fMHxLCVv9****
Coze 访问密钥。
注意
- 创建个人访问令牌或 OAuth 应用时，你需要根据你的 Bot 使用场景勾选对应权限，否则会鉴权失败。
- 必须包含以下最小权限：Bot管理、会话管理、对话。
HistoryLength Integer 可选 示例值：3
历史问题轮数。默认值为 3。
在调用模型时需要确保作为上下文的用户消息和智能体消息文本总长度小于模型上下文长度。
例如：历史问题轮数为 3，使用 Skylark2-lite-8k 大模型，该模型上下文长度限制为 8k，询问第 10 个问题时，需保证第 10 个问题的长度与第八、九轮用户消息和智能体消息文本的总长度之和不得超过 8k。
Prefill Boolean 可选 示例值：false
将 ASR 中间结果提前送入大模型进行处理。
开启该功能后可不等待 ASR 模块识别出完整的一句话再送入大模型处理，而是将 ASR 识别中间结果提前送入大模型进行处理以降低延时。
- true：开启。
- false：关闭。
默认值为 false。
注意
开启后会产生额外模型消耗。
EnableConversation Boolean 可选 示例值：false
是否将上下文存储在 Coze 平台。
若需要使用 Coze 平台上下文管理相关功能，如将指定内容添加到会话中，可开启此功能。功能开启后 RTC 不再存储上下文内容。
- false：不开启。
- true：开启。
默认值为 false。
注意
EnableConversation 为 true 时会导致 HistoryLength设置无效。
第三方大模型 Object
使用第三方大模型时，你需要在 LLMConfig 里配置以下字段：
Mode String 必选示例值：CustomLLM
大模型平台名称。使用第三方大模型/Agent 时，该参数固定取值：CustomLLM。
Url String 必选示例值：https://test.com/path/to/app
第三方大模型/Agent 的请求 URL，需要使用 HTTPS 域名，且必须符合火山引擎标准。
- 验证是否符合标准：可前往体验 Demo->修改 AI 设定->第三方模型，并填入 URL 进行快速验证。
- 若验证失败可前往文档接入第三方大模型/Agent，查看接口标准并通过验证工具查看详细报错。
说明
- 如果需要在每次请求时传递一些简单的、非敏感的参数（如 session_id），可以直接将它们作为查询参数拼接到此 URL 中。
- 如需使用 HTTP 域名进行测试，可在下方 Feature 参数中填入 {"Http":true}，但无法保证服务质量。
ModelName String 可选 示例值：name1
第三方大模型/Agent 的名称。
APIKey String 可选 示例值：pat*****123231
Bearer Token 认证方式的大模型鉴权 Token。
MaxTokens Integer 可选 示例值：1024
输出文本的最大 token 限制。默认值为 1024。
Temperature Float 可选 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。取值范围为 (0, 1]，默认值为 0.1。
TopP Float 可选 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
取值范围为 [0, 1]，默认值为 0.3。
SystemMessages String[] 可选 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
大模型 System 角色预设指令，可用于控制模型输出。
UserPrompts Object 可选 示例值：[ { "Role": "user", "Content": "你好" }, { "Role": "assistant", "Content": "有什么可以帮到你的？" }, { "Role": "user", "Content": "你是谁？" }, { "Role": "assistant", "Content": "我是你的智能问答助手。" }
大模型 User 角色预设 Prompt，可用于增强模型的回复质量，模型回复时会优先参考此处内容。
UserPrompts 存储的对话轮数受 HistoryLength 控制。例如 UserPrompts 中预先存储了两轮对话，HistoryLength 设置为 3，用户已进行了三轮对话，第四轮会话开始时，UserPrompts 中存储的内容会被全部删除。
注意
UserPrompts 中 Role 的支持取值 system、user 和 assistant，且 user 和 assistant必须成对出现，否则大模型可能会出现未定义行为。
Tools Object[] 可选 示例值：-
模型可以调用的工具列表。目前，仅函数作为工具被支持。使用该参数来提供模型可能为其生成 JSON 输入的函数列表。
type String 可选 示例值：function
工具类型，当前仅支持取值 function。
function Object 可选 示例值：-
模型可以调用的工具列表。
name String 必选示例值：get_current_weather
函数的名称。
parameters JSONMap 可选 示例值：{ "type": "object", "properties": { "location": { "type": "string", "description": "城市，如：北京", }, }, "required": \["location"\], }
description String 可选 示例值：获取指定城市的天气信息
对函数用途的描述，供模型判断何时以及如何调用该工具函数。
MCP Object[] 可选 示例值：-
注意
MCP Server 必须支持 SSE 协议。
URL String 必选示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
ComfortWords String 可选 示例值：正在处理中...
当智能体调用 MCP 工具时，向用户播放的安抚语内容。
InterestedTools String[] 可选 示例值：["search_knowledge"]
指定需要关注的工具列表。
- 若数组为空或不传，MCP Server 提供的所有工具都将被添加到 LLM 上下文中。
- 若数组不为空，则仅将数组中指定的工具添加到 LLM 上下文中。
Name String 必选示例值：knowledge
触发 MCP 工具调用的名称。
HistoryLength Integer 可选 示例值：3
历史问题轮数。默认值为 3。
在调用模型时需要确保所有 UserPrompts 和 SystemMessage 消息文本总长度小于大模型上下文长度。
例如：历史问题轮数为 3，使用 Skylark2-lite-8k 大模型，长度限制为 8k，UserPrompts 预先存储了两轮对话，用户输入了第一轮会话的问题，此时 SystemMessages+UserPrompts+第一轮会话问题的总长度不超过 8k。
Feature String 可选 示例值：{\"Http\":true}
使用 HTTP 域名进行测试，该参数固定取值：{\"Http\":true}。
Prefill Boolean 可选 示例值：false
将 ASR 中间结果提前送入大模型进行处理：
- true：开启。将 ASR 识别中间结果提前送入大模型进行处理，以降低延时。
- false：关闭。需等待 ASR 模块识别出完整的一句话后，再将其整体送入大模型处理。
默认值为 false。
注意
开启后会产生额外模型消耗。
VisionConfig Object 可选 示例值：-
视觉理解能力配置。
Enable Boolean 可选 示例值：true
是否开启视觉理解功能。
- false：不开启。
- true：开启。
默认值为 false。
SnapshotConfig Object 可选 示例值：-
抽帧截图配置。智能体会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 可选 示例值：0
截图流类型。取值：
0：主流。
1：屏幕流。
默认值为 0。
ImageDetail String 可选 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
默认值为 auto。
Height Integer 可选 示例值：640
送入大模型的截图帧的高度。取值范围：[1, 1792]，单位：像素。默认值：360。
帧宽度将按照画面原始尺寸及指定的帧高度按比例计算。
Interval Integer 可选 示例值：1000
相邻截图之间的间隔时间。取值范围： [100, 5000]，单位：毫秒。默认值：1000。
ImagesLimit Integer 可选 示例值：2
单次送大模型图片数。取值范围： [1, 50]。默认值：2。
StorageConfig Object 可选 示例值：-
截图存储相关配置。
TosConfig Object 可选 示例值：-
TOS 存储配置。
AccountId String 可选 示例值：200000000
火山引擎平台账号 ID。
- 此账号 ID 为火山引擎主账号 ID。查看路径参看查看和管理账号信息。
- 若你调用 OpenAPI 鉴权过程中使用的 AK、SK 为子用户 AK、SK，账号 ID 也必须为火山引擎主账号 ID，不能使用子用户账号 ID。
Bucket String 可选 示例值：b****t
Custom String 可选 示例值：-
自定义 JSON 字符串，可传入业务自定义参数。
ExtraHeader JSONMap 可选 示例值：{"custom_header": "value"}
自定义透传 Header。一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到你的自定义模型服务请求中，可用于鉴权或其他自定义逻辑。默认为空。
SubtitleConfig Object 可选 示例值：-
配置字幕回调。
DisableRTSSubtitle Boolean 可选 示例值：false
是否关闭客户端字幕回调。
- true：关闭，即不通过客户端接收字幕回调消息。
- false：开启，通过客户端接收字幕回调消息。开启后，在客户端实现监听回调 接收字幕结果。
默认值为 false。
注意
如需通过服务端接收字幕回调，请配置 AgentConfig.ServerMessageURLForRTS 和 AgentConfig.ServerMessageSignatureForRTS。
SubtitleMode Integer 可选 示例值：0
字幕回调时是否需要对齐音频时间戳。
- 0：对齐音频时间戳。
- 1：不对齐音频时间戳。取 1 时可更快回调字幕信息。
默认值为 0。
FunctionCallingConfig Object 可选 示例值：-
使用 Function calling 功能时，从服务端接收函数工具返回的信息指令配置。
注意
- 该功能仅在使用火山方舟模型和第三方模型时生效，且对方舟模型有限制，具体请参见支持模型。
- 为保证接入效果，使用方舟模型时，建议使用模型 doubao-seed-1-6。
- doubao-seed-1-6-thinking 强制开启思考模式，不可关闭，在实时对话式 AI 场景可能造成较高时延，不建议使用。
- ServerMessageUrl 和 ServerMessageSignature均填写正确才能开启 Function calling 功能。
ServerMessageUrl String 可选 示例值：https://example.com/callback
您的服务端回调地址（URL），用于接收函数调用结果。
系统将向该 URL 发送 POST 请求（请求头中不携带 Content-Type）。请确保您的服务器能够处理无 Content-Type 的 POST 请求。
回调地址要求：
- 使用公网可访问的域名。
- 必须以 http:// 或 https:// 开头。若使用 HTTPS 地址，请确保您的服务器证书合法且证书链完整。
ServerMessageSignature String 可选 示例值：TestSignature
鉴权签名。
在接收到函数调用信息结果后，与结果中的 signature 字段值进行对比以进行鉴权验证。
InterruptMode Integer 可选 示例值：0
是否启用语音打断（发声即打断）：
- 0：开启。开启后，一旦检测到用户发出声音，智能体立刻停止输出。
- 1：关闭。关闭后，智能体说话期间，用户语音输入内容会被忽略不做处理，不会打断智能体讲话。
默认值为 0。
WebSearchAgentConfig Object 可选 示例值：-
注意
- 该功能仅在使用火山方舟模型和第三方模型时生效，且对方舟模型有限制，具体请参见支持模型。
- 为保证接入效果，使用方舟模型时，建议使用模型 doubao-seed-1-6。
- doubao-seed-1-6-thinking 强制开启思考模式，不可关闭，在实时对话式 AI 场景可能造成较高时延，不建议使用。
- 仅支持接入火山引擎联网问答 Agent 服务。
Enable Boolean 可选 示例值：true
是否启用联网搜索能力。
- true：开启。
- false（默认）：不开启。
APIKey String 可选 示例值：your_agent_apikey
仅当 Enable 为 true 时必填。
ParamsString String 可选 示例值：{"bot_id": "742..."}
仅当 Enable 为 true 时必填。
FunctionName String 可选 示例值：WebSearch
工具调用名称。用于在内部标识此联网工具。
注意
- 仅当 Enable 为 true 时必填。
- 不能与 Function calling 的工具重名。
FunctionDescription String 可选 示例值：查询实时信息，如今天的天气、最新的新闻、A 股票的当前价格等
联网工具的场景描述。它会作为 Prompt 的一部分，帮助 LLM 更精准地判断是否需要触发联网搜索。
仅当 Enable 为 true 时必填。
ComfortWords String 可选 示例值：正在为您联网查询，请稍等...
安抚语。当智能体触发联网搜索时，会先通过 TTS 播报这段安抚语，提高用户在等待搜索结果时的体验。如果留空，则不播报。
注意
安抚语结尾需要带标点符号。
MemoryConfig Object 可选 示例值：-
注意
配置前，请确保你已经创建创建了记忆库并完成授权。
Enable Boolean 可选 示例值：true
是否开启记忆库检索。
- false（默认值）：不开启。
- true：开启。智能体在回复前会先检索记忆库，并将「用户问题 +过渡语（若有）+ 检索到的记忆」拼接成一个信息更丰富的上下文，交由大语言模型处理。
Provider String 可选 示例值：volc
记忆库服务提供商。当前固定取值为 volc，表示火山记忆库。
当 Enable 为 true 时为必填。
ProviderParams Object 可选 示例值：-
记忆库详细配置，用于定义记忆库的检索目标和规则。
当 Enable 为 true 时为必填。
collection_name String 可选 示例值：customer_service_memory
当 Enable 为 true 时为必填。
filter Object 可选 示例值：-
检索过滤条件。用于精确筛选需要召回的记忆。
当 Enable 为 true 时为必填。
user_id String[] 可选 示例值：["user1", "user2"]
用户 ID 列表。用于筛选特定用户的记忆。
- user_id 和 assistant_id 至少填写一个。
- 此字段对应 VikingDB 的 AddSession 接口中 default_user_id 或 role_id 的值。
assistant_id String[] 可选 示例值：["agent007"]
Assistant ID 列表。用于筛选特定智能体产生或参与的记忆。
- user_id 和 assistant_id 至少填写一个。
- 此字段对应 VikingDB 的 AddSession 接口中 default_assistant_id 或 role_id 的值。
memory_type String[] 可选 示例值：your_event_type
记忆抽取规则。当前仅支持事件规则，请填入你在创建记忆库时定义的事件规则名称。
- 当 Enable 为 true 时为必填。
- 事件规则名称可在控制台获取，或通过 API CollectionInfo获取。
group_id String[] 可选 示例值：group_A
群组 ID。支持传入单个或多个群组 ID。
session_id String[] 可选 示例值：session_123
会话 ID。支持传入单个或多个会话 ID。
start_time Integer 可选 示例值：672502400000
检索记忆的起始时间（毫秒级 Unix 时间戳）。不传则默认检索全部历史
检索记忆的终止时间（毫秒级 Unix 时间戳）。不传则默认至当前时间。
limit Integer 可选 示例值：10
指定单次召回记忆的最大条数。默认为 10，取值范围 [1, 5000]。
transition_words String 可选 示例值：查询到的记忆内容如下：
过渡语。 此文本会插入到用户问题和召回的记忆内容之间，作为上下文一同发送给大模型，用于引导 LLM 理解和组织回复。例如：“小明对比赛结果有什么判断？（**查询到的记忆内容是**：********）”。
S2SConfig Object 可选 示例值：-
端到端模型交互能力配置。
相较于传统的“ASR+LLM+TTS”级联方案，端到端模型直接处理语音输入输出，消除了中间转换环节，从而提供低延迟响应和更自然的对话体验。
说明
- 目前仅支持接入豆包端到端语音模型。在使用前，您需要先在豆包语音控制台开通“豆包端到端实时语音大模型”服务并获取 appid 和 token。
- 如果配置了 S2SConfig，无需配置 ASRConfig 和 TTSConfig。S2SConfig优先生效。
Provider String 必选示例值：volcano
端到端语音模型服务提供商。
目前仅支持取值 volcano，代表豆包端到端实时语音大模型。
OutputMode Integer 可选 示例值：0
端到端语音模型与 LLM 的协作模式：
- 0（默认值）：纯端到端模式。对话仅由端到端模型处理，不经过 LLMConfig 中的大模型。此模式延迟最低，适用于纯闲聊场景。
- 1：混合编排模式。请求同时发送给 LLMConfig 配置的模型和端到端模型。系统根据 LLM 是否触发 Function Call (FC) 决定最终输出：若触发 FC 则采用 LLM 输出，否则采用端到端模型输出。
- 说明
混合编排模式只在 LLMConfig 中配置火山方舟大模型时支持。
ProviderParams Object 必选
端到端语音模型的详细配置。
dialog Object 可选 示例值：-
内置对话模块配置。
extra Object 可选 示例值：-
高级配置，包含模型版本、联网搜索开关、安全审核等级等。
model String 可选 示例值：O
豆包端到端实时语音大模型版本。目前固定为 O，代表 S2S-O 版本。
strict_audit Boolean 可选 示例值：true
安全审核等级配置。
- true（默认）：严格审核模式。
- false：普通审核模式。
audit_response String 可选 示例值：抱歉这个问题我无法回答，你可以换个其他话题，我会尽力为你提供帮助
触发安全审核时的自定义兜底回复内容。
volc_websearch_api_key String 可选 示例值：your_api_key
该字段在 enable_volc_websearch 为 true 时为必填。
volc_websearch_type String 可选 示例值：web_summary
联网搜索类型。
- web_summary（默认值）：总结版。
- web：普通版。
volc_websearch_result_count Integer 可选 示例值：10
联网搜索返回的结果条数。默认值：10。最大值：10。
volc_websearch_no_result_message String 可选 示例值：网络上没有找到相关信息。
联网搜索无结果时的兜底回复内容。默认为空。
bot_name String 可选 示例值：豆包
智能体名称，用于设定基础人设。长度不超过 20 个字符。
system_role String 可选 示例值：你是豆包，一个乐于助人的 AI 助手。
系统人设，用于定义智能体的背景、角色设定及行为准则。
speaking_style String 可选 示例值：亲切、自然、专业
模型的对话风格设定。
dialog_id String 可选 示例值：dialog_123
对话 ID。用于关联上下文记忆，加载相同 dialog_id 的历史对话记录。
- 最多支持关联最近 20 轮问答对。
- ID 需保持全局唯一。
若未设置，系统将默认生成唯一 ID。
location Object 可选 示例值：-
用户地理位置信息。用于提升联网搜索结果的精准度；若关闭联网搜索（enable_volc_websearch 为 false），无需传递此参数。
longitude Float 可选 示例值：116.4074
用户所处位置的经度。
latitude Float 可选 示例值：39.9042
用户所处位置的纬度。
country String 可选 示例值：中国
用户所在国家。默认为中国。
country_code String 可选 示例值：CN
用户所在国家/地区编码。遵循 ISO 3166-1 alpha-2 标准。
province String 可选 示例值：北京市
用户所在省份。
city String 可选 示例值：杭州市
用户所在城市。
district String 可选 示例值：海淀区
用户所在区/县。
town String 可选 示例值：中关村街道
用户所在的镇/街道。
address String 可选 示例值：北京市海淀区中关村
具体地址信息。
asr Object 可选 示例值：-
内置 ASR 模块配置。
extra Object 可选 示例值：-
高级配置，如语音判停策略。
end_smooth_window_ms Integer 可选 示例值：1500
语音断句静音阈值。当用户语音停顿时间超过该值时，VAD（语音活动检测）判定为一句话结束。取值范围：500~50000，单位：毫秒。默认值：1500。
tts Object 可选 示例值：-
内置 TTS 模块配置。
speaker String 可选
音色名称。支持的音色包括：
- zh_female_vv_jupiter_bigtts（默认）：vv 音色（活泼灵动女声）。
- zh_female_xiaohe_jupiter_bigtts：xiaohe 音色（甜美活泼女声，台湾口音）。
- zh_male_yunzhou_jupiter_bigtts：yunzhou 音色（清爽沉稳男声）。
- zh_male_xiaotian_jupiter_bigtts：xiaotian 音色（清爽磁性男声）。
audio_config Object 可选 示例值：-
音频输出格式配置。
channel Integer 可选 示例值：1
音频声道数。目前仅支持 1（单声道）。
format String 可选 示例值：pcm_s16le
音频编码格式。目前仅支持 pcm_s16le（16bit 位深 PCM）。
sample_rate Integer 可选 示例值：24000
音频采样率。目前仅支持 24000（24kHz）。
MusicAgentConfig Object 可选 示例值：-
音乐播放能力配置。
开启后，智能体可以响应用户的音乐播放意图（如“播放一段欢快的音乐”），并支持通过语音指令控制音乐播放，如执行暂停、继续、停止或切歌（如“下一首”）等操作。
为确保使用效果，请按照以下方式体验该功能：
- 使用火山方舟模型 Doubao-Seed-1.6。
- 在智能体的系统提示词（SystemMessages）中增加通过 function call 处理音乐播控指令的约束。这是因为音乐播控通过内置的函数工具实现，如果不添加约束，可能因函数调用失败导致功能失效。
- 示例：
- “你具备音乐播控技能，必须通过 function call 处理以下音乐播控指令：播放音乐、暂停/继续/停止播放音乐、按顺序/随机切换音乐等”
说明
- 该功能目前处于限时免费公测阶段。
- 该功能仅支持播放 AIGC 音乐，不支持播放版权音乐。
- 音乐音频流的处理逻辑与普通对话音频流保持一致，支持语音打断。
Enable Boolean 可选 示例值：true
是否启用音乐播放。默认值：false。
AgentConfig Object 可选 示例值：-
智能体相关配置，包括欢迎词、智能体状态回调等信息。
WelcomeMessage String 可选 示例值：Hello
智能体启动后的欢迎词。
EnableConversationStateCallback Boolean 可选 示例值：false
是否接收智能体状态变化回调，获取智能体关键状态，比如“聆听中”、“思考中”、“说话中”、“被打断”等。
- true：接收。可通过客户端或服务端接收智能体状态变化回调。
- 通过客户端接收：还需在客户端实现监听回调 on_volc_conversation_status 接收消息结果。
- 通过服务端接收：还需配置字段 ServerMessageURLForRTS 和 ServerMessageSignatureForRTS。
注意：若 SDK 与服务端的传输通道选择的是低负载方案，则不支持通过服务端接收智能体状态变化回调。
- false（默认值）：不接收。
注意
ServerMessageURLForRTS String 可选 示例值：https://example.com/callback
您的业务服务器地址（URL），用于接收服务端回调消息（包括 AI Bot 状态变化和实时字幕）。
URL 地址要求：
- 公网可访问的域名地址。若使用 HTTPS，请确保 SSL 证书合法且完整。
- 该 URL 指向的服务端能够正常处理无 Content-Type 的 POST 请求。
ServerMessageSignatureForRTS String 可选 示例值：b4****6a
签名密钥。用于验证服务端回调请求（包括 AI Bot 状态变化和实时字幕）的真实性，由您自定义。
当平台向您的 ServerMessageURLForRTS 发送回调请求时，会在请求体返回 signature 字段，其值为您配置的密钥。您的服务端必须校验 signature 的值是否与您预设的密钥一致，以确保请求来源可靠。
Burst Object 可选 示例值：-
音频快速发送配置。
音频快速发送（Burst）功能用于优化弱网环境下对话语音播放的流畅度，具体机制如下：
- 服务端在每轮对话回复开始时，先将指定时长的音频数据一次性发送给客户端。客户端使用首段音频数据在本地建立播放缓冲区，用于对抗网络抖动。
- 随后，服务端按照指定的时间间隔发送后续音频数据包。
注意
音频快速发送功能需要嵌入式 Linux SDK 版本不低于 1.57 才能使用。
Enable Boolean 可选 示例值：true
是否开启音频快速发送。取值：
- false：关闭。
- true：开启。
默认值为 false。
BufferSize Integer 可选 示例值：10
服务端发送的首段音频数据的时长。取值范围：[10, 3600000]，单位： ms。该参数的默认值取决于接入方案：
- 高质量方案：默认值为 500。
- 低负载方案：默认值为 1000。
Interval Integer 可选 示例值：10
在首段音频数据发送完毕后，服务端发送后续音频数据包的时间间隔。取值范围： [10, 600]，单位：ms。该参数的默认值取决于接入方案：
- 高质量方案：默认值为 10。
- 低负载方案：默认值为 20。
AnsMode Integer 可选 示例值：1
AI 降噪。对音频进行智能降噪处理，适用于不具备或不便开启端上 AI 降噪能力的终端。例如：若物联网、智能硬件设备算力有限，无法运行复杂的端上降噪算法的场景。
可根据实际噪声环境选择不同级别的降噪模式：
- 0（默认值）：禁用 AI 降噪。
- 1：轻度降噪。适用于抑制微弱、平稳的背景噪声。
- 2：中度降噪。适用于抑制中度平稳噪声，如空调声、风扇声。
- 3：强度降噪。适用于抑制嘈杂、非平稳的动态噪音，如键盘敲击声、物体碰撞声、动物叫声等。
VoicePrint Object 可选 示例值：-
声纹降噪配置。可用于提升在多人环境下的语音识别准确率。
注意
- 声纹功能目前为免费公测阶段，算法还在进一步优化。
- 使用声纹功能时，仅支持流式 ASR，且 StreamMode 不能为 1（流式输入非流式输出）。
- 使用声纹功能时，建议不要开启 AI 降噪，以免影响声纹降噪/声纹识别的效果。
Mode Integer 可选 示例值：1
声纹模式。
- 0（默认值）：关闭声纹功能。
- 1：声纹降噪。从混合人声中分离并增强目标说话人的声音，抑制其他背景人声的干扰。适用于背景人声干扰较强的场景（如嘈杂办公室），或需要对操作者身份进行验证的场景。如车载语音助手，防止儿童或乘客误操作。
- 2：声纹识别。通过声纹比对识别出当前正在说话的人是谁。适用于多用户共享同一个 AI 设备或服务的场景，以提供个性化服务。
IdList String[] 可选 示例值：["vp_id_123"]
预注册的声纹 ID 列表。具体用法和数量限制取决于所选的 Mode：
- 当 Mode = 1 时（声纹降噪）：
- 传入 1 个已注册声纹 ID（即离线模式）：系统会加载指定的声纹，并仅保留与该声纹匹配的人声。仅支持传入 1 个声纹 ID。
- 不传（即实时模式）：系统会在通话开始时，自动学习当前目标用户（TargetUserID）的声音特征。当用户累计说话时长达到30秒后，系统会生成一个临时声纹，用于本次通话的降噪。注意：在累计满 30 秒前，声纹降噪不会生效。
- 当 Mode = 2 时（声纹识别）：
- 传入 1～3 个已注册的声纹 ID。系统会实时将当前语音与 IdList 中的所有声纹进行比对，识别出匹配的目标。
说明
- 声纹可通过 IotVoicePrintRegister 和 IotVoicePrintQuery 预注册或获取（对应字段 UUID）。
- 为保证最佳效果，建议注册声纹与实际通话使用相同的音频采集设备。
Score Integer 可选 示例值：40
声纹匹配阈值。当实时语音与预注册声纹的相似度分数大于等于此值时，才判定为匹配成功。
取值范围 [1, 100]，推荐值 40～60，默认 50。不传该参数或填 0，均会使用默认值。
注意
该字段仅在启用声纹识别时（即 Mode 为 2 且 IdList 有值）生效。
返回参数
Id String 示例值：bot-abc123
智能体 ID。
Name String 示例值：客服机器人
智能体名称，用于标识智能体。
AccessType String 示例值：public
智能体类型。
- public：平台智能体。
- private：设备智能体（用户自定义）。
Config Object 示例值：-
智能体交互服务配置，包括语音识别（ASR）、语音合成（TTS）、大模型(LLM)、字幕和函数调用（Function Calling）、音乐播放（MusicAgent）等配置。
ASRConfig Object 示例值：-
语音识别（ASR）相关配置。
Provider String 示例值：volcano
语音识别服务的提供商。该参数固定取值：volcano，表示火山引擎语音识别服务。
ProviderParams
服务配置参数。不同服务，ProviderParams 包含的字段不同：
火山流式语音识别 Object
使用火山引擎流式语音识别时，ASRConfig.ProviderParams 会返回以下字段：
Cluster String 示例值：volcengine_streaming_common
开通的流式语音识别服务对应的集群标识（Cluster ID）。
Mode String 示例值：smallmodel
模型类型。该参数固定取值：smallmodel，表示火山引擎流式语音识别模型。
火山流式语音识别大模型 Object
使用火山引擎流式语音识别大模型时，ASRConfig.ProviderParams 会返回以下字段：
ApiResourceId String 示例值：volc.bigasr.sauc.duration
流式语音识别服务版本。取值：
- volc.bigasr.sauc.duration：1.0 小时版。
- volc.seedasr.sauc.duration ：2.0 小时版。
Mode String 示例值：bigmodel
模型类型。该参数固定取值：bigmodel，表示火山引擎语音识别大模型。
StreamMode Integer 示例值：0
语音识别结果的返回模式。不同模式在实时性、准确率和适用场景上有所区别。取值：
- 0（默认值）：流式返回。识别结果会分段、实时地返回。适用实时性要求高的场景，如实时字幕。
- 1：一次性返回。在接收并处理完整个语音流后，一次性返回最终识别结果。该模式的识别准确率更高。适用准确率要求高、对实时性要求不高的场景，如会议录音转写。
- 2：双向流式。在实时返回分段结果的同时，对检测到的完整语句进行二次优化，然后返回更准确的结果，兼顾了高实时性与高准确率。适用需要在实时反馈的同时获得更高准确率的场景。
context String 示例值："{\"hotwords\": [{\"word\": \"CO2\"},{\"word\": \"雨伞\"},{\"word\": \"鱼\"}]}"
热词直传JSON 字符串。
context_history_length Integer 示例值：0
上下文轮次。将最近指定轮数会话内容送入流式语音识别大模型，有助于模型理解当前对话的背景，从而提升大模型识别准确性。
enable_nonstream Boolean 示例值：true
是否在双向流式（StreamMode: 2）的基础上开启二次识别。
开启后，当用户的说话停顿时间超过 ASRConfig.VADConfig.SilenceTime 定义的阈值时，系统会对该分句的音频进行一次额外的、更精确的识别，并返回优化后的结果。
VADConfig Object 示例值：-
VAD（语音检测） 配置。
SilenceTime Integer 示例值：600
判停时间。用户停顿时间若高于该值设定时间，则认为一句话结束。单位为 ms。
AIVAD Boolean 示例值：false
是否开启智能语义断句：
- true：开启。启用后系统会结合 AI 模型对语义完整性的判断和 SilenceTime 来进行断句，能更准确地处理长句中的自然停顿，有效避免将一句话错误切分。
- false：关闭。
注意
AIVAD 功能目前在限时免费公测阶段。
VolumeGain Float 示例值：0.3
音量增益值。增益值越低，采集音量越低。适当低增益值可减少噪音引起的 ASR 错误识别。
InterruptConfig Object 示例值：-
语音打断配置，支持：基于说话时长打断、关键词打断。
InterruptSpeechDuration Integer 示例值：500
自动打断的触发阈值，即真人用户持续说话时间达到设定值，智能体才自动停止输出。
- 取值范围：0 或 [200，3000]，单位为 ms。值越大，智能体越不容易被打断。
- 0，表示用户发出声音且包含真实语义时，即打断智能体输出。
InterruptKeywords String[] 示例值：["停止", "停下"]
触发打断的关键词列表。当用户语音中识别到列表中的任意关键词时，智能体将立即停止输出。
若配置该参数，只有识别到配置的打断词时才会触发打断，以降低背景环境人声误打断的干扰。
TurnDetectionMode Integer 示例值：0
新一轮对话的触发方式。
- 0：服务端检测到完整的一句话后，自动触发新一轮对话。
- 1：收到输入结束信令或说话字幕结果后，你自行决定是否触发新一轮会话。
TTSConfig Object 示例值：-
语音合成（TTS）相关配置。
Provider String 示例值：-
语音合成服务提供商：
- volcano：火山引擎语音合成
- volcano_bidirection：
- 火山引擎语音合成大模型
- 火山引擎声音复刻大模型
ProviderParams
配置所选的语音合成服务。不同服务下，该结构包含字段不同：
火山引擎语音合成 Object
使用火山引擎语音合成时， TTSConfig.ProviderParams 会返回以下字段：
audio Object 示例值：-
火山引擎语音合成服务音频配置。
voice_type String 示例值：BV001_streaming
音色。
speed_ratio Float 示例值：1.0
语速。取值范围为 [0.2, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，语速越快。
volume_ratio Float 示例值：1.0
音量。取值范围为 [0.1, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，音量越高。
pitch_ratio Float 示例值：1.0
音高。取值范围为 [0.1, 3]，默认值为 1.0，通常保留一位小数即可。取值越大，音调越高。
火山语音合成大模型 Object
使用火山引擎语音合成大模型服务时，TTSConfig.ProviderParams 会返回以下字段：
audio Object
火山引擎语音合成大模型服务音频配置。
voice_type String 示例值：zh_female_vv_uranus_bigtts
音色。
pitch_rate Integer 示例值：0
音调。取值范围为 [-12, 12]。默认值为 0。取值越大，音调越高。
speech_rate Integer 示例值：0
语速。取值范围 [-50, 100]，取值越大，语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
ResourceId String 示例值：volc.service_type.10029
调用服务的资源信息 ID，支持的取值如下：
- seed-tts-1.0 或 volc.service_type.10029（默认值）：语音合成大模型 1.0 字符版
- seed-tts-2.0：语音合成大模型 2.0 字符版
Additions Object
火山引擎语音合成大模型服务高级配置。
enable_latex_tn Boolean 示例值：true
是否播报 Latex 公式。
- true：播报。 为true 时，disable_markdown_filter 也需为 true 才生效。
- false：不播报。
默认值为 false。
disable_markdown_filter Boolean 示例值：true
是否对 Markdown 格式内容进行过滤。
- true：过滤；例如，**你好**，会读为“你好”。
- false：不过滤。例如，**你好**，会读为“星星你好星星”。
默认值为 false。
火山声音复刻大模型 Object
使用火山引擎声音复刻大模型时，TTSConfig.ProviderParams 会返回以下字段：
audio Object
火山引擎声音复刻大模型服务音频配置。
voice_type String 示例值：S_N****7k1
复刻音色 ID。
speed_ratio Float
语速。取值范围为 [0.8, 2]，默认值为 1.0，通常保留一位小数即可。取值越大，语速越快。
ResourceId String 示例值：seed-icl-2.0
调用服务的资源信息 ID。支持的取值如下:
- seed-icl-1.0：声音复刻大模型 1.0
- seed-icl-2.0：声音复刻大模型 2.0
Additions Object
火山引擎声音复刻大模型服务高级配置。
enable_latex_tn Boolean 示例值：true
是否播报 Latex 公式。
- true：播报。为 true 时，disable_markdown_filter 也需为 true 才可生效。
- false：不播报。
默认值为 false。
disable_markdown_filter Boolean 示例值：true
是否对 Markdown 格式内容进行过滤。
- true：过滤；例如，**你好**，会读为“你好”。
- false：不过滤。例如，**你好**，会读为“星星你好星星”。
默认值为 false。
enable_language_detector Boolean 示例值：false
是否自动识别语种。
- true：自动识别。
- false：不自动识别。
默认值为 false。
IgnoreBracketText Integer[] 示例值：[1,2]
支持取值及含义如下：
- 1：中文括号（）
- 2：英文括号()
- 3：中文方括号【】
- 4：英文方括号[]
- 5：英文花括号{}
返回值为空，表示不进行过滤。
说明
若大模型返回的内容中，包含在标点符号里的内容在最末端，且为独立句子，其后无包含真实语义内容，该标点符号中的内容不会出现在字幕中。
- 示例 1：如大模型返回的内容为：当然可以，尽管问，我知无不言！(自信满满)。，
- 此时（自信满满）。不会出现在字幕里。
- 示例 2：如大模型返回的内容为：当然可以，尽管问，我知无不言(自信满满)！，
- 此时（自信满满）会出现在字幕里。
LLMConfig
大模型相关配置。支持的大模型平台如下：
火山方舟平台 Object
使用火山方舟平台时， LLMConfig 会返回以下字段：
Mode String 示例值：ArkV3
大模型平台标识。使用火山方舟平台时，该参数固定取值：ArkV3。
ModelName String 示例值：Doubao-Seed-1.6｜250615
Temperature Float 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。
MaxTokens Integer 示例值：1024
输出文本的最大 token 限制。
TopP Float 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
SystemMessages String[] 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
系统提示词。用于输入控制大模型行为方式的指令，定义了模型的角色、行为准则，特定的输出格式等。
UserPrompts Object 示例值：[ { "Role": "user", "Content": "你好" }, { "Role": "assistant", "Content": "有什么可以帮到你的？" }, { "Role": "user", "Content": "你是谁？" }, { "Role": "assistant", "Content": "我是你的智能问答助手。" }
用户提示词，可用于增强模型的回复质量，模型回复时会优先参考此处内容，引导模型生成特定的输出或执行特定的任务。
HistoryLength Integer 示例值：3
历史问题轮数。
Tools Object[] 示例值：-
定义一组可供模型在 Function Calling 功能中调用的工具。
目前仅支持函数作为工具。你需要提供每个函数的定义，模型会基于定义，在需要时生成调用特定函数的 JSON 指令。
type String 示例值：function
工具类型。可取值及含义如下：
function：函数调用。
function Object 示例值：-
模型可以调用的工具列表。
name String 示例值：get_current_weather
函数的名称。
parameters JSONMap 示例值：-
函数请求参数，以 JSON Schema 格式描述。
description String 示例值：获取指定城市的天气信息
对函数用途的描述，供模型判断何时以及如何调用该工具函数。
Prefill Boolean 示例值：false
将 ASR 中间结果提前送入大模型进行处理。
- true：开启。启用后，允许将 ASR 识别中间结果提前发送给大模型进行处理，以降低延时。
- false：关闭。等待 ASR 模块识别出相对完整的一句话后再送入大模型处理。
注意
开启后会产生额外模型消耗。
VisionConfig Object
视觉理解能力配置。
Enable Boolean 示例值：true
是否开启视觉理解功能。
- false：不开启。
- true：开启。
SnapshotConfig Object 示例值：-
抽帧截图配置。智能体会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 示例值：0
截图流类型。取值：
0：主流。
1：屏幕流。
ImageDetail String 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
Height Integer 示例值：640
送入大模型的截图帧的高度（像素）。
Interval Integer 示例值：1000
相邻截图之间的间隔时间（毫秒）。
ImagesLimit Integer 示例值：2
单次送入大模型的截图数量。
StorageConfig Object 示例值：-
截图存储配置。
Type Integer 示例值：0
存储类型。取值：
- 0：按照 Base 64 编码存入服务端缓存，会话结束后自动删除。
- 1：存储至 TOS 平台。
TosConfig Object 示例值：-
TOS 存储配置。
AccountId String 示例值：200000000
火山引擎平台主账号 ID。
Region Integer 示例值：0
Bucket String 示例值：b****t
存储桶名称。
ThinkingType String 示例值：disabled
关闭或开启大模型的深度思考能力。若你使用的是具备深度思考能力的模型，强烈建议通过该字段关闭模型的深度思考能力（disabled），以避免智能体回复耗时过长，影响对话的流畅性。
可取值及含义如下：
- disabled：关闭深度思考能力。
- enabled：开启深度思考能力。开启后，会增加推理时延迟，且思考内容会丢失，也不会被输出。
- auto：模型自行判断是否需要开启深度思考能力（比如根据对话复杂度判断）。
- null：采用模型自身的默认行为。null 是一个关键字，在构建 JSON 请求传入时无需引号。示例：{"ThinkingType": null}。
MCP Object[] 示例值：-
配置 MCP，用于接入知识库等外部工具服务。
URL String 示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
ComfortWords String 示例值：正在处理中...
当智能体调用 MCP 工具时，向用户播放的安抚语内容。
InterestedTools String[] 示例值：["search_knowledge"]
关注的工具列表。
Name String 示例值：knowledge
触发 MCP 工具调用的名称。
Coze平台 Object
使用 Coze 平台时， LLMConfig 会返回以下字段：
Mode String 示例值：CozeBot
大模型平台名称。该参数固定取值：CozeBot。
CozeBotConfig Object 示例值：-
Coze 智能体配置。
Url String 示例值：https://api.coze.cn
请求地址。该参数固定取值：https://api.coze.cn
BotId String 示例值：73428668
Coze 智能体 ID。
APIKey String 示例值：czu_UEE2mJn66h0fMHxLCVv9****
Coze 访问密钥。
HistoryLength Integer 示例值：3
历史问题轮数。
Prefill Boolean 示例值：false
将 ASR 中间结果提前送入大模型进行处理。
开启该功能后可不等待 ASR 模块识别出完整的一句话再送入大模型处理，而是将 ASR 识别中间结果提前送入大模型进行处理以降低延时。
- true：开启。
- false：关闭。
注意
开启后会产生额外模型消耗。
EnableConversation Boolean 示例值：false
是否将上下文存储在 Coze 平台。
若需要使用 Coze 平台上下文管理相关功能，如将指定内容添加到会话中，可开启此功能。功能开启后 RTC 不再存储上下文内容。
- false：不开启。
- true：开启。
CustomVariables JSONMap 示例值：{ "custom_var_1": "value1", "custom_var_2": "value2" }
为 Coze 智能体 Prompt 中定义的变量 {{key}} 动态赋值。Map<String, String> 格式，支持 Jinja2 语法。
MetaData JSONMap 示例值：{"order_id": "xyz-123"}
为对话附加信息，比如业务标识（如订单号、用户来源等），方便后续数据查询和分析。
第三方大模型 Object
使用第三方大模型时， LLMConfig 会返回以下字段：
Mode String 示例值：CustomLLM
大模型平台名称。使用第三方大模型/Agent 时，该参数固定取值：CustomLLM。
Url String 示例值：https://test.com/path/to/app
第三方大模型/Agent 的请求 URL。
ModelName String 示例值：name1
第三方大模型/Agent 的名称。
APIKey String 示例值：pat*****123231
Bearer Token 认证方式的大模型鉴权 Token。
MaxTokens Integer 示例值：1024
输出文本的最大 token 限制。
Temperature Float 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。
TopP Float 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
SystemMessages String[] 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
大模型 System 角色预设指令，可用于控制模型输出。
UserPrompts Object 示例值：[ { "Role": "user", "Content": "你好" }, { "Role": "assistant", "Content": "有什么可以帮到你的？" }, { "Role": "user", "Content": "你是谁？" }, { "Role": "assistant", "Content": "我是你的智能问答助手。" }
大模型 User 角色预设 Prompt，可用于增强模型的回复质量，模型回复时会优先参考此处内容。
Tools Object[] 示例值：-
模型可以调用的工具列表。目前，仅函数作为工具被支持。使用该参数来提供模型可能为其生成 JSON 输入的函数列表。
type String 示例值：function
工具类型，当前仅支持取值 function。
function Object 示例值：-
模型可以调用的工具列表。
name String 示例值：get_current_weather
函数的名称。
parameters JSONMap 示例值：{ "type": "object", "properties": { "location": { "type": "string", "description": "城市，如：北京", }, }, "required": \["location"\], }
description String 示例值：获取指定城市的天气信息
对函数用途的描述，供模型判断何时以及如何调用该工具函数。
MCP Object[] 示例值：-
配置 MCP，用于接入知识库等外部工具服务。
URL String 示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
ComfortWords String 示例值：正在处理中...
当智能体调用 MCP 工具时，向用户播放的安抚语内容。
InterestedTools String[] 示例值：["search_knowledge"]
指定需要关注的工具列表。
Name String 示例值：knowledge
触发 MCP 工具调用的名称。
HistoryLength Integer 示例值：3
历史问题轮数。
Feature String 示例值：{\"Http\":true}
使用 HTTP 域名进行测试，该参数固定取值：{\"Http\":true}。
Prefill Boolean 示例值：false
将 ASR 中间结果提前送入大模型进行处理：
- true：开启。将 ASR 识别中间结果提前送入大模型进行处理，以降低延时。
- false：关闭。需等待 ASR 模块识别出完整的一句话后，再将其整体送入大模型处理。
注意
开启后会产生额外模型消耗。
VisionConfig Object 示例值：-
视觉理解能力配置。
Enable Boolean 示例值：true
是否开启视觉理解功能。
- false：不开启。
- true：开启。
SnapshotConfig Object 示例值：-
抽帧截图配置。智能体会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 示例值：0
截图流类型。取值：
0：主流。
1：屏幕流。
ImageDetail String 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
Height Integer 示例值：640
送入大模型的截图帧的高度（像素）。
Interval Integer 示例值：1000
相邻截图之间的间隔时间（毫秒）。
ImagesLimit Integer 示例值：2
单次送入大模型的截图数量。
Custom String 示例值：-
自定义 JSON 字符串，可传入业务自定义参数。
ExtraHeader JSONMap 示例值：{"custom_header": "value"}
自定义透传 Header。一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到你的自定义模型服务请求中，可用于鉴权或其他自定义逻辑。默认为空。
SubtitleConfig Object 示例值：-
字幕回调配置。
DisableRTSSubtitle Boolean 示例值：false
是否关闭客户端字幕回调。
- true：关闭，即不通过客户端接收字幕回调消息。
- false：开启，通过客户端接收字幕回调消息。
SubtitleMode Integer 示例值：0
字幕回调时是否需要对齐音频时间戳。
- 0：对齐音频时间戳。
- 1：不对齐音频时间戳。取 1 时可更快回调字幕信息。
FunctionCallingConfig Object 示例值：-
使用 Function calling 功能时，从服务端接收函数工具返回的信息指令配置。
ServerMessageUrl String 示例值：https://example-domain8080/m2
您的服务端回调地址（URL），用于接收函数调用结果。
ServerMessageSignature String 示例值：TestSignature
鉴权签名。
在接收到函数调用信息结果后，与结果中的 signature 字段值进行对比以进行鉴权验证。
InterruptMode Integer 示例值：0
是否启用语音打断（发声即打断）：
- 0：开启。开启后，一旦检测到用户发出声音，智能体立刻停止输出。
- 1：关闭。关闭后，智能体说话期间，用户语音输入内容会被忽略不做处理，不会打断智能体讲话。
WebSearchAgentConfig Object 示例值：-
联网问答 Agent 配置。
Enable Boolean 示例值：true
是否启用联网搜索能力。
- true：开启。
- false：不开启。
APIKey String 示例值：your_agent_apikey
联网问答 Agent 服务的 API Key。
ParamsString String 示例值：{"bot_id": "742..."}
联网问答 Agent 服务参数内容（压缩转译后的 JSON 字符串）。
FunctionName String 示例值：WebSearch
工具调用名称。用于在内部标识此联网工具。
FunctionDescription String 示例值：查询实时信息，如今天的天气、最新的新闻、A 股票的当前价格等
联网工具的场景描述。它会作为 Prompt 的一部分，帮助 LLM 更精准地判断是否需要触发联网搜索。
ComfortWords String 示例值：正在为您联网查询，请稍等...
安抚语。当智能体触发联网搜索时，会先通过 TTS 播报这段安抚语，提高用户在等待搜索结果时的体验。
MemoryConfig Object 示例值：-
记忆库配置。
Enable Boolean 示例值：true
是否开启记忆库检索。
- flase：不开启。
- true：开启。智能体在回复前会先检索记忆库，并将「用户问题 +过渡语（若有）+ 检索到的记忆」拼接成一个信息更丰富的上下文，交由大语言模型处理。
Provider String 示例值：volc
记忆库服务提供商。当前固定取值为 volc，表示火山记忆库。
ProviderParams Object 示例值：-
记忆库详细配置，用于定义记忆库的检索目标和规则。
collection_name String 示例值：customer_service_memory
要检索的记忆库名称。
filter Object 示例值：-
检索过滤条件。用于精确筛选需要召回的记忆。
user_id String[] 示例值：["user1", "user2"]
用户 ID 列表。
assistant_id String[] 示例值：["agent007"]
Assistant ID 列表。
memory_type String[] 示例值：your_event_type
记忆抽取规则。
group_id String[] 示例值：group_A
群组 ID。
session_id String[] 示例值：session_123
会话 ID。
start_time Integer 示例值：672502400000
检索记忆的起始时间（毫秒级 Unix 时间戳）。
end_time Integer 示例值：1675180800000
检索记忆的终止时间（毫秒级 Unix 时间戳）。
limit Integer 示例值：10
指定单次召回记忆的最大条数。
transition_words String 示例值：查询到的记忆内容如下：
过渡语。
S2SConfig Object 示例值：-
端到端模型交互能力配置。
Provider String 示例值：volcano
端到端语音模型服务提供商。
目前仅支持取值 volcano，代表豆包端到端实时语音大模型。
OutputMode Integer 示例值：0
端到端语音模型与 LLM 的协作模式：
- 0：纯端到端模式。对话仅由端到端模型处理，不经过 LLMConfig 中的大模型。此模式延迟最低，适用于纯闲聊场景。
- 1：混合编排模式。请求同时发送给 LLMConfig 配置的模型和端到端模型。系统根据 LLM 是否触发 Function Call (FC) 决定最终输出：若触发 FC 则采用 LLM 输出，否则采用端到端模型输出。
- 说明
混合编排模式只在 LLMConfig 中配置火山方舟大模型时支持。
ProviderParams Object
端到端语音模型的详细配置。
app Object 示例值：-
应用鉴权配置。
appid String 示例值：94****11
开通豆包端对端实时语音大模型服务后获取的 App ID，用于唯一标识应用。
token String 示例值：OaO****ws1
与 App ID 对应的鉴权 Token。
dialog Object 示例值：-
内置对话模块配置。
extra Object 示例值：-
高级配置，包含模型版本、联网搜索开关、安全审核等级等。
model String 示例值：O
豆包端到端实时语音大模型版本。目前固定为 O，代表 S2S-O 版本。
strict_audit Boolean 示例值：true
安全审核等级配置。
- true：严格审核模式。
- false：普通审核模式。
audit_response String 示例值：抱歉这个问题我无法回答，你可以换个其他话题，我会尽力为你提供帮助
触发安全审核时的自定义兜底回复内容。
enable_volc_websearch Boolean 示例值：false
是否开启火山引擎联网搜索 API 服务。
- true：启用。
- false：不启用。
volc_websearch_api_key String 示例值：your_api_key
联网搜索 API 服务的 API Key。
volc_websearch_type String 示例值：web_summary
联网搜索结果的详细程度。
- web_summary：总结版。
- web：普通版。
volc_websearch_result_count Float 示例值：10
联网搜索返回的结果条数。
volc_websearch_no_result_message String 示例值：网络上没有找到相关信息。
联网搜索无结果时的兜底回复内容。默认为空。
bot_name String 示例值：豆包
智能体名称，用于设定基础人设。
system_role String 示例值：你是豆包，一个乐于助人的 AI 助手。
系统人设，用于定义智能体的背景、角色设定及行为准则。
speaking_style String 示例值：亲切、自然、专业
模型的对话风格设定。
dialog_id String 示例值：dialog_123
对话 ID。用于关联上下文记忆，加载相同 dialog_id 的历史对话记录。最多支持关联最近 20 轮问答对。
location Object 示例值：-
用户地理位置信息。用于提升联网搜索结果的精准度；关闭联网搜索时无需此参数。
longitude Float 示例值：116.4074
用户所处位置的经度。
latitude Float 示例值：39.9042
用户所处位置的纬度。
country String 示例值：中国
用户所在国家。
country_code String 示例值：CN
用户所在国家/地区编码。
province String 示例值：北京市
用户所在省份。
city String 示例值：杭州市
用户所在城市。
district String 示例值：海淀区
用户所在区/县。
town String 示例值：中关村街道
用户所在的镇/街道。
address String 示例值：北京市海淀区中关村
具体地址信息。
asr Object 示例值：-
内置 ASR 模块配置。
extra Object 示例值：-
高级配置，如语音判停策略。
end_smooth_window_ms String 示例值：1500
语音断句静音阈值。当用户语音停顿时间超过该值时，VAD（语音活动检测）判定为一句话结束。单位：毫秒。
tts Object 示例值：-
内置 TTS 模块配置。
speaker String
音色名称。支持的音色包括：
- zh_female_vv_jupiter_bigtts（默认）：vv 音色（活泼灵动女声）。
- zh_female_xiaohe_jupiter_bigtts：xiaohe 音色（甜美活泼女声，台湾口音）。
- zh_male_yunzhou_jupiter_bigtts：yunzhou 音色（清爽沉稳男声）。
- zh_male_xiaotian_jupiter_bigtts：xiaotian 音色（清爽磁性男声）。
audio_config Object 示例值：-
音频输出格式配置。
channel String 示例值：1
音频声道数。目前仅支持 1（单声道）。
format String 示例值：pcm_s16le
音频编码格式。目前仅支持 pcm_s16le（16bit 位深 PCM）。
sample_rate String 示例值：24000
音频采样率。目前仅支持 24000（24kHz）。
MusicAgentConfig Object 示例值：-
音乐播放能力配置。
Enable Boolean 示例值：true
是否启用音乐播放能力。
AgentConfig Object 示例值：-
智能体相关配置，包括欢迎词、智能体状态回调等信息。
WelcomeMessage String 示例值：Hello
智能体启动后的欢迎词。
EnableConversationStateCallback Boolean 示例值：false
是否接收智能体状态变化回调，获取智能体关键状态，比如“聆听中”、“思考中”、“说话中”、“被打断”等。
- true：接收。可通过客户端或服务端接收智能体状态变化回调。
- 通过客户端接收：还需在客户端实现监听回调 on_volc_conversation_status 接收消息结果。
- 通过服务端接收：还需配置字段 ServerMessageURLForRTS 和 ServerMessageSignatureForRTS。
- 注意：若 SDK 与服务端的传输通道选择的是低负载 WebSocket 链路，则不支持通过服务端接收智能体状态变化回调。
- false：不接收。
ServerMessageSignatureForRTS String 示例值：b4****6a
用于验证服务端回调请求（包括 AI Bot 状态变化和实时字幕）的真实性。
ServerMessageURLForRTS String 示例值：https://example-domain.com/vertc/callback
您的服务端回调地址（URL），用于接收服务端回调消息（包括 AI Bot 状态变化和实时字幕）。
Burst Object 示例值：-
音频快速发送配置。
Enable Boolean 示例值：true
是否开启音频快速发送。
- false：关闭。
- true：开启。
BufferSize Integer 示例值：10
服务端发送的首段音频数据的时长（ms）。
Interval Integer 示例值：10
在首段音频数据发送完毕后，服务端发送后续音频数据包的时间间隔（ms）。
AnsMode Integer 示例值：1
AI 降噪。对音频进行智能降噪处理，适用于不具备或不便开启端上 AI 降噪能力的终端。例如：若物联网、智能硬件设备算力有限，无法运行复杂的端上降噪算法的场景。
可根据实际噪声环境选择不同级别的降噪模式：
- 0：禁用 AI 降噪。
- 1：轻度降噪。适用于抑制微弱、平稳的背景噪声。
- 2：中度降噪。适用于抑制中度平稳噪声，如空调声、风扇声。
- 3：强度降噪。适用于抑制嘈杂、非平稳的动态噪音，如键盘敲击声、物体碰撞声、动物叫声等。
VoicePrint Object 示例值：-
声纹降噪配置。
Mode Integer 示例值：1
声纹模式。
- 0：关闭声纹功能。
- 1：声纹降噪。
- 2：声纹识别。
IdList String[] 示例值：["vp_id_123"]
预注册的声纹 ID 列表。具体用法和数量限制取决于所选的 Mode：
- 当 Mode = 1 时（声纹降噪）：
- 传入 1 个已注册声纹 ID（即离线模式）：系统会加载指定的声纹，并仅保留与该声纹匹配的人声。仅支持传入 1 个声纹 ID。
- 不传（即实时模式）：系统会在通话开始时，自动学习当前目标用户（TargetUserID）的声音特征。当用户累计说话时长达到30秒后，系统会生成一个临时声纹，用于本次通话的降噪。注意：在累计满 30 秒前，声纹降噪不会生效。
- 当 Mode = 2 时（声纹识别）：
- 传入 1～3 个已注册的声纹 ID。系统会实时将当前语音与 IdList 中的所有声纹进行比对，识别出匹配的目标。
Score Integer 示例值：40
声纹匹配阈值。当实时语音与预注册声纹的相似度分数大于等于此值时，才判定为匹配成功。
CreatedAt Long 示例值：1640995200000
智能体创建时间，Unix 时间戳（毫秒）。
UpdatedAt Long 示例值：1640995400000
智能体更新时间，Unix 时间戳（毫秒）。
错误码
完整请求（使用火山引擎服务）
输入示例
POST https://rtc.volcengineapi.com?Action=AibotCreate&Version=2025-08-01
{
"Name": "智能助手",
"AccessType": "public",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"Mode": "bigmodel"
}
},
"LLMConfig": {
"Mode": "ArkV3",
"ModelName": "Doubao-Seed-1.6 | 250615",
"SystemMessages": [
"你是一个专业的客服助手，请用礼貌和专业的语言回答用户问题。"
]
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"audio": {
"voice_type": "zh_female_linjianvhai_moon_bigtts"
},
"ResourceId": "volc.service_type.10029"
}
},
"AgentConfig": {
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？"
}
}
}输出示例
{
"Result": {
"Id": "bot****LI",
"Name": "智能助手",
"AccessType": "public",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"ApiResourceId": "volc.bigasr.sauc.duration",
"Mode": "bigmodel"
},
"VADConfig": {},
"InterruptConfig": {}
},
"LLMConfig": {
"Mode": "ArkV3",
"ModelName": "Doubao-Seed-1.6｜250615",
"MaxTokens": 1024,
"Temperature": 0.1,
"TopP": 0.9,
"SystemMessages": [
"你是一个专业的客服助手，请用礼貌和专业的语言回答用户问题。"
],
"VisionConfig": {
"SnapshotConfig": {},
"StorageConfig": {
"TosConfig": {}
}
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"ResourceId": "volc.service_type.10029",
"audio": {
"voice_type": "zh_female_linjianvhai_moon_bigtts"
}
}
},
"SubtitleConfig": {},
"FunctionCallingConfig": {}
},
"CreatedAt": 1757600496308,
"UpdatedAt": 1757600496308
},
"ResponseMetadata": {
"RequestId": "202509112221****D47219E7CB",
"Action": "AibotCreate",
"Version": "2025-08-01",
"Service": "rtc",
"Region": "cn-north-1"
}
}最近更新时间：2026.08.20 10:06:09
这个页面对您有帮助吗？
有用
有用
无用
无用