实时音视频
实时音视频
文档指南
请输入
- 文档首页
实时音视频AI 音视频互动方案API 参考历史版本（建议迁移至新版接口）开启 AI 对话 StartVoiceChat（建议迁移至新版接口）
复制全文
下载 pdf开启 AI 对话 StartVoiceChat（建议迁移至新版接口）
文档反馈
问问助手调用 StartVoiceChat 接口，在你的应用中接入一个具备听说能力的 AI，使其与真人用户进行自然、流畅、真人感的实时对话。
注意
使用说明
- 前提条件：调用该接口前，你需要开通语音识别、语音合成和大模型服务并配置相关权限策略，详情请参看前置准备。
- 如何调用接口：
- 调用方法：发送 HTTP(S) 请求时，你需要符合火山引擎规范。调用接口的请求结构、公共参数、签名机制、返回结构，参看调用方法。
- 请求频率：单账号下 QPS 不得超过 60。
- 请求接入地址：仅支持 rtc.volcengineapi.com。
- 任务状态监控：调用本接口后返回 200，仅代表任务下发成功，不代表 AI 已成功入房或可以正常工作。你可以前往 控制台-功能配置开启事件回调，通过监听 VoiceChat 事件来获取任务状态。具体操作及事件说明，请参见获取 AI 对话任务事件。
- 任务生命周期与成本管理：调用该接口开启 AI 对话后，若 AgentConfig.TargetUserId 用户退出房间，180s 后该任务会自动停止，但该 180s 内仍会计费。你可以通过 AgentConfig.IdleTimeout 参数自定义此等待时长。为避免不必要的费用，建议 AgentConfig.TargetUserId 用户退出房间后，及时调用 StopVoiceChat 接口结束与 AI 对话。
请求说明
- 请求方式：POST
- 请求地址：https://rtc.volcengineapi.com?Action=StartVoiceChat&Version=2024-12-01
调试
API Explorer
您可以通过 API Explorer 在线发起调用，无需关注签名生成过程，快速获取调用结果。
请求参数
Query
Action String 必选示例值：StartVoiceChat
接口名称。当前 API 的名称为 StartVoiceChat。
Version String 必选示例值：2024-12-01
接口版本。当前 API 的版本为 2024-12-01。
Body
AppId String 必选示例值：661e****543cf
实时音视频应用的 AppId。
注意
RoomId String 必选示例值：Room1
RTC 房间的 ID。需与生成 RTC 鉴权 Token 时使用的 RoomId 一致。
TaskId String 必选示例值：task1
任务 ID。由您自行定义，用于唯一标识该任务。后续调用 UpdateVoiceChat（更新）或 StopVoiceChat（结束）时必须传入相同的 TaskId。
- 命名规范：请参见参数赋值规范。
- 唯一性规则：在同一个 AppId 和 RoomId 组合下，TaskId 必须唯一。不同房间可以使用相同的 TaskId。
BusinessId String 可选 示例值：chatroom
Config Object 必选示例值：-
AI 对话交互配置，包括语音识别（ASR）、大模型（LLM）、语音合成（TTS）、端到端语音模型、字幕、打断、函数调用、联网问答、记忆库等。
ASRConfig Object 可选 示例值：-
语音识别（ASR）相关配置。
注意
启用端到端语音模型（S2SConfig）后，该配置会失效。
Provider String 必选示例值：volcano
语音识别服务的提供商：
- volcano：火山引擎的语音识别服务。可使用以下模型：
- 豆包流式语音识别模型2.0（即流式语音识别2.0）
- 流式语音识别大模型（即流式语音识别1.0）
- ai_gateway：自定义语音识别模型（通过火山边缘大模型网关接入的）
ProviderParams 必选示例值：-
服务配置参数。不同服务，ProviderParams 包含的字段不同：
（豆包语音）流式语音识别2.0/1.0（参数透传） Object
此方式支持流式语音识别大模型服务的所有配置参数（如直传不支持的 VAD 顺滑）， 相较于直传配置更灵活、功能更全面。透传时，ASRConfig.ProviderParams 配置如下：
Mode String 必选示例值：bigmodel
模型类型。该参数固定取值：bigmodel，表示豆包语音的语音识别大模型。
Credential Object 必选示例值：-
语音识别大模型服务的鉴权参数。
AppId String 必选示例值：93****21
AccessToken String 必选示例值：MOaOaa_VQ6****1B34UHA4h5B
ApiResourceId String 可选 示例值：volc.bigasr.sauc.duration
流式语音识别大模型版本。请填入您在豆包语音控制台实际开通资源类型：
- 流式语音识别大模型（即流式语音识别1.0）
- volc.bigasr.sauc.duration（默认值）：1.0 小时版。
- volc.bigasr.sauc.concurrent：1.0 并发版。
- 豆包流式语音识别模型2.0（即流式语音识别2.0）
- volc.seedasr.sauc.duration：2.0 小时版。
- volc.seedasr.sauc.concurrent：2.0 并发版。
注意
使用流式语音识别大模型 2.0 版本时，StreamMode 取值只能为 1 或 2，推荐用 2。
VolcanoASRParameters String 必选示例值："{"request":{"vad_segment_duration":1000,"end_window_size":500}}"
如何配置该字段：
- 基础用法：若您不需要进行任何自定义配置，接受平台所有默认行为，可将该字段值设为空的 JSON 对象，即 VolcanoASRParameters: "{}"。
- 高级用法：若您需要判停、热词等功能，则需要通过此参数传入对应的参数配置。
- 根据需求，参考文档 大模型流式语音识别API 选取您需要的参数构建一个 JSON 对象，然后将其转为 JSON 字符串。请确保您已充分了解所需透传参数的具体行为和潜在影响。
- 将该 JSON 对象压缩并转义为字符串后，作为 VolcanoASRParameters 的值传入。例如，要将静音判停阈值设为 500 毫秒，则为 "{\"request\":{\"end_window_size\":500}}"。
- 可透传的参数：
- 支持的参数：大模型流式语音识别API 中的请求参数（即 发送 full client request 表格下的参数）。下方无需透传的参数除外。
- 不可透传的参数：
以下参数由平台统一管理，您的 JSON 对象中不可包含这些字段：
- user
- request.show_speech_rate
- request.show_volume
- request.enable_lid
- request.enable_emotion_detection
- request.enable_gender_detection
- request.show_utterances
- request.result_type
- request.model_name
- request.force_to_speech_time
- audio.format
- audio.codec
- audio.rate
- audio.bits
- audio.channel
StreamMode Integer 可选 示例值：0
语音识别结果返回模式：
- 0（默认值）：流式输入流式输出。识别结果会分段、实时地返回。该模式下识别速度更快，适用于对实时性要求高的场景，如实时字幕。
- 1：流式输入非流式输出。即在完整接收并处理完整个语音片段后，一次性返回最终的识别结果。该模式下识别准确率更高，适用于对实时性要求不高的场景，如会议录音转写。
- 2（推荐）：双向流式优化版。在流式输入和流式输出的基础上，支持对检测到的完整语句片段进行二次非流式识别，兼顾实时性与准确性。
二次识别需手动开启，即需在 VolcanoASRParameters 中透传字段 enable_nonstream。
注意
使用流式语音识别大模型 2.0 版本时，StreamMode 取值只能为 1 或 2，推荐用 2。
ContextHistoryLength Integer 可选 示例值：0
上下文轮次。将最近指定轮数会话内容送入流式语音识别大模型，有助于模型理解当前对话的背景，从而提升大模型识别准确性。
取值范围为 [0, 20]，默认为 0 表示不开启该功能。
（豆包语音）流式语音识别大模型（参数直传） Object
此方式封装了流式语音识别大模型的部分配置参数，接入简单，但无法使用该服务的全部功能。直传时，ASRConfig.ProviderParams 配置如下：
Mode String 必选示例值：bigmodel
模型类型。该参数固定取值：bigmodel，表示豆包语音的语音识别大模型。
AppId String 必选示例值：93****21
AccessToken String 必选示例值：MOaOaa_VQ6****5B
ApiResourceId String 可选 示例值：volc.bigasr.sauc.duration
流式语音识别大模型版本。请填入您在豆包语音控制台实际开通资源类型：
- 流式语音识别大模型（即流式语音识别1.0）
- volc.bigasr.sauc.duration（默认值）：1.0 小时版。
- volc.bigasr.sauc.concurrent：1.0 并发版。
- 豆包流式语音识别模型2.0（即流式语音识别2.0）
- volc.seedasr.sauc.duration：2.0 小时版。
- volc.seedasr.sauc.concurrent：2.0 并发版。
注意
使用流式语音识别大模型 2.0 版本时，StreamMode 取值只能为 1 或 2，推荐用 2。
StreamMode Integer 可选 示例值：0
语音识别结果返回模式：
- 0（默认值）：流式输入流式输出。识别结果会分段、实时地返回。该模式下识别速度更快，适用于对实时性要求高的场景，如实时字幕。
- 1：流式输入非流式输出。即在完整接收并处理完整个语音片段后，一次性返回最终的识别结果。该模式下识别准确率更高，适用于对实时性要求不高的场景，如会议录音转写。
- 2（推荐）：双向流式优化版。在流式输入和流式输出的基础上，支持对检测到的完整语句片段进行二次非流式识别，兼顾实时性与准确性。
二次识别需手动开启，通过字段 enable_nonstream。
注意
使用流式语音识别大模型 2.0 版本时，StreamMode 取值只能为 1 或 2，推荐用 2。
enable_nonstream Boolean 可选 示例值：true
是否在双向流式优化版（StreamMode: 2）的基础上开启二遍识别。
- false（默认值）：不开启。
- true：开启二遍识别。开启后，当用户的说话停顿时间超过 ASRConfig.VADConfig.SilenceTime 时，系统会对该分句音频再进行一次识别（此次识别为流式输入非流式输出）。
注意
enable_nonstream 为 true 仅在 StreamMode 为 2时才生效。
context String 可选 示例值："{\"hotwords\": [{\"word\": \"CO2\"},{\"word\": \"雨伞\"},{\"word\": \"鱼\"}]}"
热词直传（通过JSON 字符串直接传入）。默认为空。
如果某些词汇（比如人名、产品名等）的识别准确率较低，可以将其作为热词传入 ASR 模型，提高输入词汇的识别准确率。例如传入"雨伞"作为热词，发音相似的词会优先识别为“雨伞”。
- 大小限制：热词传入最大值为 200 tokens，超出会自动截断。
- 格式要求：JSON 字符串。
boosting_table_id String 可选 示例值：26603****1-adad
热词词表 ID。默认为空。
说明
执行优先级：热词词表低于热词直传。即如果同时配置了热词直传和热词词表，系统会先执行热词直传，后执行热词词表。
boosting_table_name String 可选 示例值：语音打断关键词
热词词表名称。默认为空。
说明
执行优先级：热词词表低于热词直传。即如果同时配置了热词直传和热词词表，系统会先执行热词直传，后执行热词词表。
context_history_length Integer 可选 示例值：0
上下文轮次。将最近指定轮数会话内容送入流式语音识别大模型，有助于模型理解当前对话的背景，从而提升大模型识别准确性。
取值范围为 [0, 20]，默认为 0 表示不开启该功能。
correct_table_id String 可选 示例值：26603****1-adad
替换词 ID。默认为空。
将 ASR 识别出的特定词汇替换为预期的标准词汇，可用于纠错、脱敏或别名替换等。比如“智立”替换为“致力”。
说明
如果一个词同时是热词和替换词的源词，则优先执行热词，再执行替换词。例如，原词为“智立”：
- 若热词有“致力”，替换词要求“智立→治理”，那最后结果为 “致力”。
- 若热词有“致力”，替换词要求“致力→治理”，那最后结果为 “治理”。
correct_table_name String 可选 示例值：替换词
替换词文件名称。默认为空。
说明
如果一个词同时是热词和替换词的源词，则优先执行热词，再执行替换词。例如，原词为“智立”：
- 若热词有“致力”，替换词要求“智立→治理”，那最后结果为 “致力”。
- 若热词有“致力”，替换词要求“致力→治理”，那最后结果为 “治理”。
自定义语音识别 Object
- ExtraHeader JSONMap 可选 示例值：{"custom_header": "value"}
URL String 必选示例值：wss://ai-gateway.vei.volces.com/v1/realtime?model=customasr
边缘大模型网关的服务接入点 URL。StartVoiceChat 会通过此地址连接到网关，网关再将请求转发给你自定义的 ASR 服务。
- URL 格式：wss://ai-gateway.vei.volces.com/v1/realtime?model=<ASR 调用名称>。
- <ASR 调用名称>：需替换为您在边缘大模型网关控制台中自定义的模型调用名称。获取路径：边缘大模型网关_大模型管理。
APIKey String 必选示例值：sk-xxxxxx
ExtraData JSONMap 可选 示例值：{"custom_param": "value1"}
自定义参数，将以 JSON 格式透传给你的自定义 ASR 服务。默认为空。
自定义透传 Header。一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到您的自定义 ASR 服务请求中，可用于鉴权或其他自定义逻辑。VADConfig Object 可选 示例值：-
VAD（语音检测） 配置。
SilenceTime Integer 可选 示例值：600
判停静音时长。当 AgentConfig.TargetUserId 用户静音时长超过该设定值时，系统判定用户本轮说话结束。
取值范围为 [500，3000)，单位为 ms，默认值为 600。
AIVAD Boolean 可选 示例值：false
是否开启智能语义判停。
启用后，系统会在用户说话过程中实时引入 AI 模型来分析用户语义是否完整，并根据分析结果决定何时判定用户发言结束：
- 如果判定语义完整，且用户静音时长达到 SilenceTime 时，系统会判定用户本轮发言结束。
- 如果判定语义不完整，用户静音时长只要超过 2 秒，系统就判定用户本轮发言结束。
该功能有效提升在复杂对话场景下（如长句、思考停顿）判停的准确性，避免将一句完整的话错误地拆分为多轮对话。
- true：开启。为了达到最佳的断句效果，建议组合使用 SilenceTime 和 LLMConfig.Prefill。具体配置建议，请参见进阶配置：语义判停与预填充。
- false（默认值）：关闭。
注意
AIVAD 功能目前在限时免费公测阶段。
ForceBeginThreshold Integer 可选 示例值：0
首帧打断阈值。
当 AI 正在播报时，若系统（基于 VAD）检测到用户语音持续时长达到该设定值，AI 立即停止播报。此过程不完全依赖 ASR 识别具体文字。
- 取值范围： [0, 1000]，单位毫秒。
- 默认值：0，表示禁用此功能。
说明
在嘈杂环境下，设置过小的阈值可能导致 AI 被环境噪音误打断（如突然的关门声、咳嗽声）。
ForceEnd Boolean 可选 示例值：false
是否开启辅助 VAD 强制判停。
开启后，一旦用户静音时长达到 SilenceTime，系统会立即判定用户发言结束，并终止本轮 ASR 识别。适用于对响应速度要求极高，且用户说话节奏较快的场景。此过程基于 VAD 实现，不依赖 ASR 判停。
- false（默认值）：关闭。
- true：开启。
VolumeGain Float 可选 示例值：0.3
音量增益值。增益值越低，采集音量越低。适当低增益值可减少噪音引起的 ASR 错误识别。
默认值为 1.0，推荐值 0.3。
InterruptConfig Object 可选 示例值：-
语音打断配置，支持基于说话时长打断、关键词打断。
注意
该配置仅在 InterruptMode 为 0时生效。
InterruptSpeechDuration Integer 可选 示例值：500
自动打断的触发阈值。若系统检测到 AgentConfig.TargetUserId 用户说话且说话时长达到该设定值，AI 会自动停止输出。
- 取值范围：0 或 [200，3000]，单位为 ms。值越大，越不容易被打断。
- 默认值：0，表示用户发出声音且包含真实语义时，AI 就停止输出。
InterruptKeywords String[] 可选 示例值：["停止", "停下"]
触发打断的关键词列表。
当识别到用户语音中包含列表中的任意关键词时，AI 将立即停止输出，以降低背景环境人声误打断的干扰。默认为空，表示不触发关键词打断。
注意
使用该参数时，建议将 InterruptSpeechDuration 设置为 0，避免自动打断触发阈值过高，导致关键词打断不生效。
TurnDetectionMode Integer 可选 示例值：0
新一轮对话的触发方式。
- 0（默认值）：自动触发。服务端检测到完整的一句话后，自动触发新一轮对话。
- 1：不自动触发。您可以在业务逻辑中自行实现手动触发新一轮会话，如通过 API 指令（比如按键），精确控制交互流程。
FarfieldConfig Object 可选 示例值：-
远场人声抑制配置。通过抑制距离麦克风 3-5 米以外的背景人声，解决远场场景下的 AI 误触发、误识别及判停延迟等问题。该功能适用于耳机、手机等收音效果较好的设备。
注意
- 该功能仅在使用豆包语音的流式语音识别大模型时生效。
- 由于不同硬件设备的收音特性差异较大，必须根据实际设备类型和应用场景选择合适的 Level 或 Threshold。若参数设置不当（如抑制过强），可能会导致正常用户的声音也被抑制，影响收音质量。建议根据实际业务场景进行细致调试。
Enable Boolean 可选 示例值：true
是否开启远场人声抑制功能。
- true：开启。
- false（默认值）：关闭。
FixedSource Boolean 可选 示例值：true
音源位置是否固定：
- true：若音源与麦克风位置相对固定（如使用耳机、听筒模式），请设为该值。
- false（默认值）：若音源与麦克风位置不固定（如使用扬声器），请设为该值。
Level String 可选 示例值：Medium
噪声抑制强度，系统将根据环境底噪自动动态调整过滤门槛。可取值如下：
- High：强抑制，过滤效果最强，适用于极其嘈杂或远场人声干扰严重的场景。
- Medium（默认值）：中抑制，在抑制干扰与保留微弱人声之间取得平衡。
- Low：弱抑制，过滤效果最弱，保留更多音频细节，适用于相对安静的环境。
若 Threshold > 0 ，本配置失效。
Threshold Integer 可选 示例值：0
自定义噪声抑制阈值。
- 取值范围：[0, 127]，数值越小抑制越强，127 接近静音。
- 默认值： 0，表示不启用自定义噪声抑制，由 Level 抑制噪声。
若此值 > 0，则 Level 配置失效。不同硬件设备的阈值可能存在差异，建议优先使用 Level 参数。
InterruptThreshold Integer 可选 示例值：5
打断能量阈值。将 VAD 打断时所需的人声音量下限抬高指定的分贝（dB）值，减少因背景杂音导致的误打断。
与 Threshold / Level 互补。Threshold / Level 控制远场噪声抑制强度，InterruptThreshold 仅在打断路径生效。
- 取值范围：[0, 30)，单位 dB。数值越大，越难被环境噪声误打断；数值越小，越容易被人声打断。
- 默认值：0。
ExpireTime Integer 可选 示例值：1000
强制判停时长。单位：ms。默认为空。
从 ASR 识别到最后一段文字起，若经过 ExpireTime 时长仍未触发静音判停（即 SilenceTime），则强制判定用户本轮说话已结束。适用于背景噪声大、环境干扰严重（导致 VAD/ASR 无法准确判断静音）时，进行兜底强制判停。
建议设置为 SilenceTime 的 1.5 倍。
LLMConfig 可选 示例值：-
大模型相关配置。不同模型类型 LLMConfig 包含的字段不同：
火山方舟模型 Object 示例值：-
使用火山方舟平台时， LLMConfig 包含以下配置：
AutoActive Boolean 可选 示例值：true
是否启用 LLMConfig 配置。
- true（默认值）：启用。
- false：禁用。禁用后，LLMConfig 和 TTSConfig 失效。通过 UpdateVoiceChat 接口发送文本给 TTS 仍然生效。
Mode String 必选示例值：ArkV3
大模型平台标识。使用火山方舟平台时，该参数固定取值：ArkV3。
EndPointId String 必选示例值：ep-22****212
自定义推理接入点 EndPointId。当需要使用模型推理功能（如直接调用部署的基础模型）时，此参数为必填。
注意
当前仅支持自定义推理接入点，不支持预置推理接入点。
SystemMessages String[] 可选 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
系统提示词。用于输入控制大模型行为方式的指令，定义了模型的角色、行为准则，特定的输出格式等。
UserPrompts Object[] 可选 示例值：-
用户提示词。可用于增强模型的回复质量，模型回复时会优先参考此处内容，引导模型生成特定的输出或执行特定的任务。
示例：会话前可注入的一组 user/assistant 对话（例如上几轮会话），可用于实现跨会话短期记忆。
注意
UserPrompts 设有自动逐出机制：当上下文轮数超过 HistoryLength 限制时，最早的 UserPrompts 会被自动逐出，为新的对话历史腾出空间。一组 user 和 assistant 计为一轮。
示例：若 HistoryLength 设置为 3 且已预存 了 2 轮 UserPrompts。在用户与 AI 完成第 1 轮真实对话后，上下文总轮数为 3，此时无需逐出；当用户发起第 2 轮对话时，总轮数变为 4 超过限制，系统会自动移除最早的一轮 UserPrompts，使上下文始终只保留最近的 3 轮记录。
Role String 可选 示例值：user
发送消息的角色。支持取值 system、user 和 assistant。其中 user 和 assistant 必须成对出现（一问一答），否则大模型可能会出现未定义行为。
Content String 可选 示例值：你是谁？
消息内容。
HistoryLength Integer 可选 示例值：3
对话上下文保留轮数。默认值为 3。
AI 在回复时会参考最近 N 轮的历史对话，以保证多轮对话的连贯性。
取值范围：需确保发送给大模型的总 Token 数不超过模型的上下文上限（如 8k）。即 SystemMessages + 当前生效的 UserPrompts + HistoryLength 轮对话 < 模型最大上下文长度。
例如：历史问题轮数为 3，LLM 上下文限制为 8k，UserPrompts 预先存储了两轮对话，用户输入了第一轮会话的问题，此时 SystemMessages + UserPrompts + 第一轮会话问题 总长度不超过 8k。
TopUserPrompts Object[] 可选 示例值：-
必须始终保留的用户提示词，用于向大模型注入需持续参考的上下文；支持设置文本与图片。
注意
TopUserPrompts 会占用 HistoryLength（历史对话轮数）。一组 user 和 assistant 计为一轮。例如 HistoryLength 为 10，配置 1 组 TopUserPrompts（一个 user 和一个 assistant）后，剩余可保留的普通历史对话为 9 轮。请根据实际需求合理控制注入的 TopUserPrompts。
Role String 必选示例值：user
消息角色。支持取值：user、assistant。
user 和 assistant 必须成对出现（一问一答），否则大模型可能会出现未定义行为。
Content String 必选示例值：第一张照片是李雷，喜欢踢足球；第二张照片是韩梅梅，喜欢学英语，爱吃雪糕。
文本上下文。用自然语言描述需要模型持续记住的信息。
注意
当该条消息同时携带 MultiModalContent 时，Content需与图片一一对应说明，避免图片与文案错配。
MultiModalContent Object[] 可选 示例值：-
多模态内容，用于添加图片信息。
注意
- 仅当 role 为 user 时生效，role=assistant 时不允许携带 MultiModalContent。
- 需确保 LLM 模型支持视觉理解能力，且已开启视觉理解（即 VisionConfig.Enable 为 true）。
- 此功能是基于 LLM 多模态能力的语义识别，而非传统的生物特征比对，不建议用于支付验证等高安全性场景。
示例：
Type String 必选示例值：image
多模态数据类型。当前仅支持取值 image。
ImageUrl String 必选示例值：https://example.com/image.jpg
图片 URL。需确保该 URL 可以在公网环境下直接访问。
注意
TopP Float 可选 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
取值范围为 [0, 1]，默认值为 0.3。
Prefill Boolean 可选 示例值：false
是否将 ASR 中间结果提前送入大模型处理，以降低延时。
- true：开启。
- false（默认值）：关闭。等待 ASR 判断用户发言结束后，才将用户完整发言文本提交给 LLM 进行推理。
注意
- 开启后会产生额外模型消耗。
- LLM 生成的文本，其是否实时送入 TTS 由 TTSConfig.Prefill参数控制，默认是送入。
Temperature Float 可选 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。
取值范围为 (0, 1]，默认值为 0.1。
MaxTokens Integer 可选 示例值：1024
输出文本的最大 token 限制。默认值为 1024。
- 取值范围：受模型的上下文长度限制。各个模型不同，详细见模型列表。
- 与 MaxCompletionTokens 互斥：不可同时设置，同时配置时接口返回参数错误。
- 当 ThinkingType=enabled 或 auto 且需要控制输出总预算（含推理 token）时，建议改用 MaxCompletionTokens。
MaxCompletionTokens Integer 可选 示例值：4096
模型单次输出的最大 token 数，包含推理过程（思维链）消耗的 token。
- 取值范围：大于 0 的正整数，实际上限取决于所用模型的输出窗口大小。
- 不设置时不向模型透传该字段，MaxTokens 继续生效。
- 与 MaxTokens 互斥：不可同时设置，同时配置时接口返回参数错误。
ThinkingType String 可选 示例值：disabled
关闭或开启大模型的深度思考能力。若你使用的是具备深度思考能力的模型，强烈建议通过该字段关闭模型的深度思考能力（disabled），以避免 AI 回复耗时过长，影响对话的流畅性。
可取值及含义如下：
- disabled（推荐）：关闭深度思考能力。
- enabled：开启深度思考能力。开启后，会增加推理时延迟，且思考内容会丢失，也不会被输出。
- auto：模型自行判断是否需要开启深度思考能力（比如根据对话复杂度判断）。
- null：采用模型自身的默认行为。null 是一个关键字，在构建 JSON 请求传入时无需引号。示例：{"ThinkingType": null}。
不设置时不向模型透传该字段，模型沿用自身默认行为。
注意
ReasoningEffort String 可选 示例值：low
控制模型推理思考的强度。用于调节思维链长度，在效果、时延、成本之间做平衡。
- 取值：
- minimal：关闭思考，直接回答。
- low：轻量思考，侧重快速响应。
- medium：均衡模式，兼顾速度与深度。
- high：深度分析，处理复杂问题。
- 不设置时模型沿用自身默认行为。
注意
- ThinkingType=disabled 时，ReasoningEffort 只能为 minimal 或不设置。
- ThinkingType=enabled 或 auto 时，ReasoningEffort 不可设置为 minimal。
ServiceTier String 可选 示例值：auto
控制模型的在线推理方式（不可与视觉理解能力同时使用）：
- fast：速度优先。本次请求优先使用在线推理（低延迟）模式，可提供更优的输出 token 生成速率（TPOT），降低延迟。
- 若模型对应的推理接入点（EndPointId 字段指定）有低延迟限流配额，则本次请求优先使用在线推理（低延迟）模式；否则会自动降级为 default 模式。
- 使用该模式会增加成本消耗。
- 支持在线推理（低延迟）的模型及如何开通，参见使用流程。
- auto（默认值）：并发保障优先。本次请求优先使用 在线推理（TPM保障包），保障模型请求吞吐量达到指定TPM。
- 即若模型对应的推理接入点（EndPointId 字段指定）有 TPM 保障包额度，则本次请求优先使用在线推理（TPM保障包）额度。若无 TPM 保障包额度或用超额度则降级至 default 模式。
- 支持在线推理（TPM保障包）的模型及如何开通，参见 在线推理（TPM保障包）。
- default：通用优先。请求只使用 在线推理（常规）模式，使用公共资源池资源，即使有TPM保障包额度 / 低延迟限流额度也不会调用。适用于对延迟和并发要求相对较低的场景。
Tools Object[] 可选 示例值：-
注意
- 模型需支持 Function Calling。支持的方舟模型，请参见模型列表-工具调用。
- 配置前，您必须在自己的业务代码中实现 Tools 中声明的所有函数。Function Calling 的作用是让 AI 根据对话 “决策” 调用哪个函数，并返回函数的名称和参数。函数的实际执行、结果返回等所有后续逻辑，均需由您的代码完成。
type String 必选示例值：function
工具类型。目前固定取值 function，表示函数调用。
function Object 必选示例值：-
模型可以调用的函数列表。
name String 必选示例值：get_current_weather
函数的名称。建议与你在代码中定义的函数名称相同。
description String 可选 示例值：获取指定城市的天气信息
函数用途的描述。大模型会参考该字段来选择是否使用该函数。
parameters JSONMap 可选 示例值：-
函数的请求参数。大模型会参考该字段来提取函数的入参；如果函数不需要输入参数，则无需指定 parameters 参数。
- type：必须是 "object"。
- properties：列出支持的所有参数名及其类型。
- 参数名：须为英文字符串，且不能重复。
- type：需遵循 JSON 规范，支持类型包括 string、number、boolean、integer、object、array。
- description：对参数的清晰描述。引导模型正确提取值，建议包含用途和格式示例。
- required：指定函数中必填的参数名，未在此列出的参数则被视为可选。
示例：
EnableParallelToolCalls Boolean 可选 示例值：true
是否允许模型在单次回复中返回多个工具调用指令。
- true（默认值）：允许返回多个待调用的工具。当用户的一句话包含多个互相独立的意图时（如“查天气和查股价”），大模型会一次性返回多个函数调用指令。
- false：模型最多返回 1 个待调用的工具。
注意
该功能仅 doubao-seed-1.6系列模型支持。
EnableToolCallHistory Boolean 可选 示例值：false
是否在后续 LLM 请求的历史上下文中保留 Function Calling 过程中产生的工具调用指令和工具返回结果。
- false（默认值）：不保留。
- true：保留。若某轮触发 Function Calling，该轮历史除用户提问和最终回复外，还会包含中间产生的工具调用指令和工具返回结果；若该轮未触发 Function Calling，则仍仅保留用户提问和最终回复。
注意
- 该参数仅在已配置 Tools 并实际触发 Function Calling 时生效。
- HistoryLength仍按对话轮次计数；工具调用指令和工具返回结果不会额外计为一轮，而是归属于触发它们的那一轮，并随该轮一起保留和逐出。
VisionConfig Object 可选 示例值：-
注意
- 该功能仅在使用 EndPointId（推理点）接入大模型，且推理点选择 vision 系列模型时才生效，如 Doubao-vision-pro-32k。
- Doubao 1.5 及之前系列的模型，不支持同时使用视觉理解能力和 Function Calling 功能。
- 启用端到端语音模型时（S2SConfig）后，该配置不生效。
Enable Boolean 可选 示例值：true
是否开启视觉理解功能。
- false（默认值）：不开启。
- true：开启。启用后，VisionConfig 下的其他配置才生效。
SnapshotConfig Object 可选 示例值：-
抽帧截图配置。系统会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 可选 示例值：0
截图流类型。
- 0：主流。指来自摄像头的实时视频画面。
- 1：屏幕共享流。指用户共享的设备屏幕内容（如桌面、应用窗口、PPT 等）。
默认值为 0。
ImageDetail String 可选 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
默认值为 auto。
Height Integer 可选 示例值：640
送入大模型的截图视频帧高度，取值范围为 [0, 1792]，单位为像素。该参数同时控制截图的分辨率模式。
- 当 Height > 14 时，系统会按该高度和视频流宽高比计算截图宽度。
- 当 Height ≤ 14 时，截图分辨率跟随 RTC 原始视频帧的实时分辨率。适用于需要保留原始画面细节，或视频源分辨率会动态变化的场景。
不填则默认为视频帧原始分辨率。
分辨率越高，识别越准，但延迟和成本也越高。
Interval Integer 可选 示例值：1000
相邻截图之间的间隔时间，取值范围为 [100, 5000]，单位为毫秒。默认值为 1000。
注意
若 AutoSelect 设置为 true，则此参数失效，系统强制使用 166ms 的采样间隔。
ImagesLimit Integer 可选 示例值：2
单次送大模型截图数。取值范围为 [0, 50]。
不传或传 0 时自动修改为 2。
AutoSelect Boolean 可选 示例值：true
是否启用自动选帧。
启用后，系统会自动输入的视频中选取质量较高的帧送入 LLM，解决因移动抖动或失焦导致的识别不准问题。
- true：启用。
- false（默认值）：关闭。
注意
启用后，截图间隔 Interval 固定为 166ms（每秒采样 6 张图片），用户自定义的 Interval会失效。
StorageConfig Object 可选 示例值：-
截图存储配置。
Type Integer 可选 示例值：0
存储类型。
- 0（默认值）：按照 Base 64 编码存入服务端缓存，会话结束后自动删除。
- 1：存储至 TOS 平台。
TosConfig Object 可选 示例值：-
TOS 存储配置。
AccountId String 必选示例值：account_id
注意
- 此账号 ID 为火山引擎主账号 ID。
- 若你调用 OpenAPI 鉴权过程中使用的 AK、SK 为子用户 AK、SK，账号 ID 也必须为火山引擎主账号 ID，不能使用子用户账号 ID。
Region Integer 必选示例值：0
Bucket String 必选示例值：bucket
VisualContext Object 可选 示例值：-
短期视觉记忆和视觉观察任务配置。
PollIntervalMs Long 可选 示例值：1000
视频帧上传视觉记忆库的间隔。服务端按该间隔从上行视频流中抽取图像并写入视觉记忆库，用于后续的记忆召回。
取值需不小于 1000，单位为 ms，默认值为 1000。
Memory Object 可选 示例值：-
视觉记忆配置。
开启后，服务端会在指定的时间窗口内保存视觉记忆，并注册内部工具 visual_memory_recall，供 LLM 在合适时机主动调用以回忆此前画面，用于回答“刚才出现过什么”“刚才把物品放在哪里”等与近期画面相关的问题。
注意
- 在 LLMConfig 中自行配置 Function Call 时，须避免与 visual_memory_recall 重名。
- 视觉记忆仅在当前任务内生效，不是跨任务长期记忆。
Enable Boolean 可选 示例值：true
是否启用视觉记忆。
- false（默认值）：关闭。
- true：开启。开启后必须同时设置 Provider。
Provider String 可选 示例值：volc
视觉记忆提供方。
当 Memory.Enable 为 true 时必填。当前仅支持取值 volc（火山引擎视觉记忆服务）。
WindowSeconds Long 可选 示例值：60
单张图片在视觉记忆库中的 TTL（Time To Live）。超过该时长的图片会被服务端清理，不再参与召回。
单位为秒，默认值为 60，请按业务实际需要设置。
Recall Object 可选 示例值：-
视觉记忆召回配置。
TopK Integer 可选 示例值：3
单次召回最多返回的图片数量。服务端会按相关度从高到低返回，最多返回 TopK 张图片。
Watch Object 可选 示例值：-
视觉观察任务配置。开启后，服务端会按 CheckIntervalMs 对最新画面做匹配检查，并注册内部工具 visual_watch_task，允许 LLM 根据用户指令创建和管理观察任务。
注意
在 LLMConfig 中自行配置 Function Call 时，须避免与 visual_watch_task重名。
Enable Boolean 可选 示例值：true
是否启用视觉观察任务。
- false（默认值）：关闭。
- true：开启。开启后可通过配置 StartupTasks 预设观察任务；也支持通过 AdvanceConfig 在对话中由用户语音指令自动创建观察任务（默认开启）。
CheckIntervalMs Long 可选 示例值：1000
观察任务的检查间隔，即服务端触发一次画面匹配检查的时间间隔。
单位为 ms，默认值为 1000，请按业务实际需要设置。
ImagesLimit Integer 可选 示例值：1
单次观察任务检查所使用的图片数量。服务端每次检查会取最近的 ImagesLimit 张图片送入模型进行匹配判断。
默认值为 1，请按业务实际需要设置。
NotifyMode String 可选 示例值：voice_and_callback
观察任务命中触发后的通知方式，决定 visual_task_status 事件是否外发以及是否语音播报。
- voice（默认值）：默认值，仅语音提示，不发送回调事件。
- callback：仅发送回调事件，不语音提示。
- voice_and_callback：语音提示 + 发送回调事件。
注意
StartupTasks Object[] 可选 示例值：-
预创建观察任务列表。
数组中的每一项表示一个预置任务，服务端在会话建立后立即注册这些任务并开始检查。
TaskId String 必选示例值：find_phone_1
观察任务 ID。由你自定义，用于唯一标识一个观察任务。
Type Integer 必选示例值：1
任务类型。
- 1：单次目标型任务。画面满足条件后触发一次反馈，任务随即结束；若在超时时间内未命中，则任务超时结束。
- 2：持续型任务。画面满足条件后触发反馈，但任务不会因单次命中而结束，会持续观察直到超时或取消。
Description String 必选示例值：如果画面中出现我的手机，请提醒我它在哪里
任务描述。需清晰描述需要观察的画面条件、命中后的反馈方式或反馈内容。
TimeoutSeconds Long 可选 示例值：60
该预设任务的超时时间。任务超过该时长未命中则自动结束。
- 单位为秒，取值需不小于 0。
- 默认值：未设置时，根据任务类型不同默认值不同
- 单次目标型任务：默认值为 AdvanceConfig.GoalTaskTimeoutSeconds
- 持续型任务：默认值为 AdvanceConfig.ContinuousTaskTimeoutSeconds
AdvanceConfig Object 可选 示例值：-
视觉观察任务的高级配置，包含通过语音创建观察任务、超时时间、送图模式、匹配后回复风格、播报抑制等能力。
DisableGoalTaskTrigger Boolean 可选 示例值：false
是否禁止语音创建目标型任务。
- false（默认值）：开启语音创建目标型任务。
- true：关闭。
DisableContinuousTaskTrigger Boolean 可选 示例值：false
是否禁止语音创建持续型任务。
- false（默认值）：开启语音创建持续型任务。
- true：关闭。
GoalTaskTimeoutSeconds Integer 可选 示例值：120
通过语音指令创建的目标型任务的默认超时时间。单位为秒，默认值为 120。
ContinuousTaskTimeoutSeconds Integer 可选 示例值：300
通过语音指令创建的持续型任务的默认超时时间。单位为秒，默认值为 300。
DetectSystemMessages String[] 可选 示例值：-
观察任务命中后 LLM 的回复风格和人设的系统提示词。若不填，默认复用 LLMConfig.SystemMessages。
TaskInterruptMode Integer 可选 示例值：2
观察任务命中后的打断优先级。
- 1：高优先级，命中后立即打断当前对话进行播报。
- 2（默认值）：中优先级，不打断当前对话，加入等待队列，在合适时机播报。
DetectSuppression Object 可选 示例值：-
抑制播报配置，用于在同一持续型任务频繁命中、或短时间内出现相似播报文本时降低重复反馈，降低成本并提升体验。
仅作用于持续型任务。
EnableHistory Boolean 可选 示例值：true
是否保留历史命中的记录，开启后将根据历史检测结果抑制重复播报。
默认值为 false（不开启）。
MatchSkipCount Integer 可选 示例值：3
持续型任务命中后，跳过的后续检测轮数。用于降低持续命中场景下的重复反馈和检测成本。
默认值为 0，表示不跳过。
TextHistory Object 可选 示例值：-
DetectHistoryLimit Integer 可选 示例值：5
播报历史记录数量上限。当历史数量超过该值时，会用新历史替换最旧的记录。
默认值为 5。
SimilarityThreshold Integer 可选 示例值：60
基于文本相似度的播报抑制阈值。当新播报文本与历史记录的相似度超过该阈值时，将被抑制。
取值范围为 [0, 100] 的整数，默认值为 0，即不开启该功能。
MCP Object[] 可选 示例值：-
注意
- 模型要求：
- 火山方舟模型需支持 Function calling。具体支持的模型，请参见 模型列表-工具调用。
- 不建议使用 doubao-seed-1.6-thinking，该模型会强制开启思考模式，且不可关闭，可能造成较高时延。
- MCP Server 返回必须必须支持流式 SSE 协议。
URL String 必选示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
Name String 必选示例值：knowledge
自定义一个唯一的名称，用于标识该 MCP 服务。
该名称供 LLM 区分工具来源，且系统会根据该名称将工具调用请求路由至对应的 MCP Server。
注意
该名称不能与联网问答 Agent（WebSearchAgentConfig.FunctionName）和 Function Calling（Tools.function.name）里定义的工具重名。
ComfortWords String 可选 示例值：正在处理中...
当调用 MCP 工具时，向用户播放的安抚语内容。
InterestedTools String[] 可选 示例值：["search_knowledge"]
指定要添加到 LLM 上下文中的工具列表，以供 LLM 决策和调用。
- 若为空或不传：系统会将 MCP Server 提供的所有工具添加到 LLM 上下文中。
- 若指定了工具：则仅将指定的工具添加到 LLM 上下文中。
第三方大模型/Agent Object 示例值：-
使用第三方大模型时， LLMConfig 包含以下配置：
AutoActive Boolean 可选 示例值：true
是否启用 LLMConfig 配置。
- true（默认值）：启用。
- false：禁用。禁用后，LLMConfig 和 TTSConfig 失效。通过 UpdateVoiceChat 接口发送文本给 TTS 仍然生效。
Mode String 必选示例值：CustomLLM
大模型平台名称。使用第三方大模型/Agent 时，该参数固定取值：CustomLLM。
Url String 必选示例值：https://test.com/path/to/app
系统请求该 URL 的超时时间为 10 秒，请确保您的服务能在此时间内响应。
- 快速验证 URL 是否符合标准：
- 前往 实时对话式 AI 体验馆 ，开始通话。
- 点击右侧的 修改 AI 人设，然后切换至第三方模型，并填入 URL 进行快速验证。
-
- 若验证失败可前往文档接入第三方大模型/Agent，查看接口标准并通过验证工具查看详细报错。
- 拼接参数：如果需要在每次请求时传递一些简单的、非敏感的参数（如 session_id），可以直接将它们作为查询参数拼接到此 URL 中。
- 如需使用 HTTP 域名进行测试：可在下方 Feature 参数中填入 {"Http":true}，但无法保证服务质量。
ModelName String 可选 示例值：name1
第三方大模型/Agent 的名称。
APIKey String 可选 示例值：pat*****123231
Bearer Token 认证方式的大模型鉴权 Token。
SystemMessages String[] 可选 示例值：["你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"]
系统提示词。用于输入控制大模型行为方式的指令，定义了模型的角色、行为准则，特定的输出格式等。
UserPrompts Object[] 可选 示例值：-
用户提示词。可用于增强模型的回复质量，模型回复时会优先参考此处内容，引导模型生成特定的输出或执行特定的任务。
示例：会话前可注入的一组 user/assistant 对话（例如上几轮会话），可用于实现跨会话短期记忆。
注意
UserPrompts 设有自动逐出机制：当上下文轮数超过 HistoryLength 限制时，最早的 UserPrompts 会被自动逐出，为新的对话历史腾出空间。一组 user 和 assistant 计为一轮。
示例：若 HistoryLength 设置为 3 且已预存 了 2 轮 UserPrompts。在用户与 AI 完成第 1 轮真实对话后，上下文总轮数为 3，此时无需逐出；当用户发起第 2 轮对话时，总轮数变为 4 超过限制，系统会自动移除最早的一轮 UserPrompts，使上下文始终只保留最近的 3 轮记录。
Role String 可选 示例值：user
发送消息的角色。支持取值 system、user 和 assistant。其中 user 和 assistant 必须成对出现（一问一答），否则大模型可能会出现未定义行为。
Content String 可选 示例值：你是谁？
消息内容。
HistoryLength Integer 可选 示例值：3
对话上下文保留轮数。默认值为 3。
AI 在回复时会参考最近 N 轮的历史对话，以保证多轮对话的连贯性。
注意
需确保发送给大模型的总 Token 数不超过模型的上下文上限（如 8k）。即 SystemMessages + 当前生效的 UserPrompts + HistoryLength 轮对话 < 模型最大上下文长度。
例如：历史问题轮数为 3，LLM 上下文限制为 8k，UserPrompts 预先存储了两轮对话，用户输入了第一轮会话的问题，此时 总长度不超过 8k。
Temperature Float 可选 示例值：0.1
采样温度，用于控制生成文本的随机性和创造性，值越大随机性越高。取值范围为 (0, 1]，默认值为 0.1。
TopP Float 可选 示例值：0.3
采样的选择范围，控制输出 token 的多样性。模型将从概率分布中累计概率超过该取值的标记中进行采样，以确保采样的选择范围不会过宽，值越大输出的 token 类型越丰富。
取值范围为 [0, 1]，默认值为 0.3。
Feature String 可选 示例值：{\"Http\":true}
使用 HTTP 域名进行测试，该参数固定取值：{\"Http\":true}。
Prefill Boolean 可选 示例值：false
是否将 ASR 中间结果提前送入大模型处理， 以降低延时。
- true：开启。
- false（默认值）：关闭。等待 ASR 判断用户发言结束后，才将用户完整发言文本提交给 LLM 进行推理。
注意
- 开启后会产生额外模型消耗。
- LLM 生成的文本，其是否实时送入 TTS 由 TTSConfig.Prefill参数控制，默认是送入。
MaxTokens Integer 可选 示例值：1024
输出文本的最大 token 限制。默认值为 1024。
MaxCompletionTokens Integer 可选 示例值：4096
模型单次输出的最大 token 数，包含推理过程（思维链）消耗的 token。
- 取值范围：大于 0 的正整数，实际上限取决于所用模型的输出窗口大小。
- 不设置时不向模型透传该字段，MaxTokens 继续生效。
- 与 MaxTokens 互斥：不可同时设置，同时配置时接口返回参数错误。
ReasoningEffort String 可选 示例值：low
控制模型推理思考的强度。值越高回答质量越好，但延时和 token 消耗也越高。
- 取值：直接透传，取值取决于第三方模型。
- 不设置时模型沿用自身默认行为。
ServiceTier String 可选 示例值：default
控制模型的在线推理方式：
注意
- 请确保模型支持该能力。系统会将该值以 service_tier 字段透传到您配置的第三方大模型请求 body 中，由第三方服务自行识别并路由。
- 该功能不可与视觉理解能力同时使用。
- 不同的方式决定了算力资源的分配、并发保障以及模型响应速度。详细说明，可参考方舟模型的推理方式概述。
- fast：速度优先。以方舟模型为例，即若模型有低延迟限流配额，则本次请求优先使用在线推理（低延迟）模式，提供更优的输出 token 生成速率（TPOT），降低延迟；否则会自动降级为 default 模式。
- auto（默认值）：并发保障优先。以方舟模型为例，若模型有 TPM 保障包额度，则本次请求优先使用在线推理（TPM保障包）额度，保障模型请求吞吐量达到指定TPM。若无 TPM 保障包额度或用超额度则降级至 default 模式。
- default：通用模式。以方舟模型为例，本次请求只使用 在线推理（常规）模式，即使有TPM保障包额度 / 低延迟限流额度也不会调用。
Tools Object[] 可选 示例值：-
注意
配置前，请确保您已在业务代码中，实现了具体的函数逻辑。Function Calling 的作用是让模型 “决策” 调用哪个函数并传入什么参数，而函数的执行则由您的代码负责。例如，想实现天气查询，您需要自己实现一个能查询并返回天气信息的函数。
type String 必选示例值：function
工具类型。目前固定取值 function，表示函数调用。
function Object 必选示例值：-
模型可以调用的函数列表。
name String 必选示例值：get_current_weather
函数的名称。建议与代码中定义的函数名称保持一致。
description String 可选 示例值：获取指定城市的天气信息
函数用途的描述。大模型会参考该字段来选择是否使用该函数。
parameters JSONMap 可选 示例值：-
函数的请求参数。大模型会参考该字段来提取函数的入参；如果函数不需要输入参数，则无需指定 parameters 参数。
- type：必须是 "object"。
- properties：列出支持的所有参数名及其类型。
- 参数名：须为英文字符串，且不能重复。
- type：需遵循 JSON 规范，支持类型包括 string、number、boolean、integer、object、array。
- description：对参数的清晰描述。引导模型正确提取值，建议包含用途和格式示例。
- required：指定函数中必填的参数名，未在此列出的参数则被视为可选。
示例：
EnableParallelToolCalls Boolean 可选 示例值：true
单次请求，是否允许模型的返回包含多个待调用的工具。
- true（默认值）：允许返回多个待调用的工具。当用户的一句话包含多个互相独立的意图时（如“查天气和查股价”），大模型会一次性返回多个函数调用指令。
- false：模型最多返回 1 个待调用的工具。
EnableToolCallHistory Boolean 可选 示例值：false
是否在后续 LLM 请求的历史上下文中保留 Function Calling 过程中产生的工具调用指令和工具返回结果。
- false（默认值）：不保留。
- true：保留。若某轮触发 Function Calling，该轮历史除用户提问和最终回复外，还会包含中间产生的工具调用指令和工具返回结果；若该轮未触发 Function Calling，则仍仅保留用户提问和最终回复。
注意
- 该参数仅在已配置 Tools 并实际触发 Function Calling 时生效。
- HistoryLength仍按对话轮次计数；工具调用指令和工具返回结果不会额外计为一轮，而是归属于触发它们的那一轮，并随该轮一起保留和逐出。
MCP Object[] 可选 示例值：-
-
注意
MCP Server 返回必须支持流式 SSE 协议。
URL String 必选示例值：https://knowledge-mcp-server.com/test/123
远端 MCP Server 的访问地址。
ComfortWords String 可选 示例值：正在处理中...
当调用 MCP 工具时，AI 向用户播放的安抚语内容。默认为空。
InterestedTools String[] 可选 示例值：["search_knowledge"]
指定要添加到 LLM 上下文中的工具列表，以供 LLM 决策和调用。
- 若为空或不传：MCP Server 提供的所有工具都将被添加到 LLM 上下文中。
- 若指定了工具：则仅将指定的工具添加到 LLM 上下文中。
Name String 必选示例值：knowledge
自定义一个唯一的名称，用于标识该 MCP 服务。
该名称供 LLM 区分工具来源，且系统会根据该名称将工具调用请求路由至对应的 MCP Server。
注意
该名称不能与联网问答 Agent（WebSearchAgentConfig.FunctionName）和 Function Calling（Tools.function.name）里定义的工具重名。
VisionConfig Object 可选 示例值：-
Enable Boolean 可选 示例值：true
是否开启视觉理解功能。
- false：不开启。
- true：开启。
默认值为 false。
SnapshotConfig Object 可选 示例值：-
抽帧截图配置，会按照配置策略在后台自动抽帧截图送入大模型以供理解。
StreamType Integer 可选 示例值：0
截图流类型。
- 0：主流。指来自摄像头的实时视频画面。
- 1：屏幕共享流。指用户共享的设备屏幕内容（如桌面、应用窗口、PPT 等）。
默认值为 0。
ImageDetail String 可选 示例值：auto
图片处理模式。取值及含义如下：
- high：高细节模式。适用于需要理解图像细节信息的场景，如对图像的多个局部信息/特征提取、复杂/丰富细节的图像理解等场景，理解更全面。
- low：低细节模式。适用于简单的图像分类/识别、整体内容理解/描述等场景，理解更快速。
- auto：自动模式。根据图片分辨率，自动选择适合的模式。
默认值为 auto。
Height Integer 可选 示例值：640
送入大模型的截图视频帧高度，取值范围为 [0, 1792]，单位为像素。该参数同时控制截图的分辨率模式。
- 当 Height > 14 时，系统会按该高度和视频流宽高比计算截图宽度。
- 当 Height ≤ 14 时，截图分辨率跟随 RTC 原始视频帧的实时分辨率。适用于需要保留原始画面细节，或视频源分辨率会动态变化的场景。
不填则默认为视频帧原始分辨率。
Interval Integer 可选 示例值：1000
相邻截图之间的间隔时间，取值范围为 [100, 5000]，单位为毫秒。默认值为 1000。
注意
若 AutoSelect 设置为 true，则此参数失效，系统强制使用 166ms 的采样间隔。
ImagesLimit Integer 可选 示例值：2
单次送大模型截图数。取值范围为 [0, 50]。
不传或传 0 时自动修改为 2。
AutoSelect Boolean 可选 示例值：true
是否启用自动选帧。
启用后，系统会自动输入的视频中选取质量较高的帧送入 LLM，解决因移动抖动或失焦导致的识别不准问题。
- true：启用。
- false（默认值）：关闭。
注意
启用后，截图间隔 Interval 固定为 166ms（每秒采样 6 张图片），用户自定义的 Interval会失效。
StorageConfig Object 可选 示例值：-
截图存储相关配置。
TosConfig Object 可选 示例值：-
TOS 存储配置。
AccountId String 必选示例值：acc****_id
火山引擎平台账号 ID，例如：200000000。
- 火山引擎平台账号 ID 查看路径参看查看和管理账号信息。
- 此账号 ID 为火山引擎主账号 ID。
- 若你调用 OpenAPI 鉴权过程中使用的 AK、SK 为子用户 AK、SK，账号 ID 也必须为火山引擎主账号 ID，不能使用子用户账号 ID。
Region Integer 必选示例值：0
Bucket String 必选示例值：b****t
EnableRoundId Boolean 可选 示例值：false
请求第三方模型/Agent 接口时，是否在请求体中携带字段 round_id（对话轮次 ID）：
- false（默认值）：不携带。
- true：携带。系统会在发送给你自研接口的 Request Body 中，自动添加一个 round_id 字段。你可以解析该字段，用于日志追踪、问题排查和数据审计等。
round_id 是系统为每一轮“用户-AI”的交互生成的唯一标识。
Custom String 可选 示例值：-
自定义 JSON 字符串，可传入业务自定义参数。默认为空。
ExtraHeader JSONMap 可选 示例值：{"custom_header": "value"}
自定义透传 Header。一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到你的自定义模型服务请求中，可用于鉴权或其他自定义逻辑。默认为空。
Coze 智能体 Object
使用 Coze 智能体时，LLMConfig 包含以下配置：
AutoActive Boolean 可选 示例值：true
是否启用 LLMConfig 配置。
- true（默认值）：启用。
- false：禁用。禁用后，LLMConfig 和 TTSConfig 失效。通过 UpdateVoiceChat 接口发送文本给 TTS 仍然生效。
Mode String 必选示例值：CozeBot
大模型平台名称。该参数固定取值：CozeBot。
CozeBotConfig Object 必选示例值：-
Coze 智能体配置。
Url String 必选示例值：https://api.coze.cn
请求地址。该参数固定取值：https://api.coze.cn
BotId String 必选示例值：73****68
Coze 智能体 ID。
可前往你需要调用的智能体开发页面获取。开发页面 URL 中 bot 参数后的数字即智能体ID。例如开发页面 URL 为：https://www.coze.cn/space/341/bot/73****68，则 BotId 为 73****68。
APIKey String 必选示例值：czu_UEE2mJn6****MHxLCVv9uQ7H
Coze 访问密钥。
注意
创建个人访问令牌或 OAuth 应用时，你需要根据你的 Bot 使用场景勾选对应权限，否则会鉴权失败。
UserId String 可选 示例值：123
标识当前与智能体对话的用户，由你自行定义、生成与维护。UserId 用于标识对话中的不同用户，不同的 UserId，其对话的上下文消息、数据库等对话记忆数据互相隔离。如果不需要用户数据隔离，可将此参数固定为一个任意字符串，例如 123、abc 等。
HistoryLength Integer 可选 示例值：3
历史问题轮数。默认值为 3。
取值范围：需确保发送给大模型的总 Token 数不超过模型的上下文上限（如 8k）。即 SystemMessages + 当前生效的 UserPrompts + HistoryLength 轮对话 < 模型最大上下文长度。
例如：历史问题轮数为 3，LLM 上下文限制为 8k，UserPrompts 预先存储了两轮对话，用户输入了第一轮会话的问题，此时 SystemMessages + UserPrompts + 第一轮会话问题 总长度不超过 8k。
Prefill Boolean 可选 示例值：false
是否将 ASR 中间结果提前送入 LLM 进行文本推理， 以降低延时。
- true：开启。
- false（默认值）：关闭。等待 ASR 判断用户发言结束后，才将用户完整发言文本提交给 LLM 进行推理。
注意
- 开启后会产生额外模型消耗。
- LLM 生成的文本，其是否实时送入 TTS 由 TTSConfig.Prefill参数控制，默认送入。
EnableConversation Boolean 可选 示例值：false
是否将上下文存储在 Coze 平台。
若需要使用 Coze 平台上下文管理相关功能，如将指定内容添加到会话中，可开启此功能。功能开启后 RTC 不再存储上下文内容。
- false：不开启。
- true：开启。
默认值为 false。
注意
EnableConversation 为 true 时会导致 HistoryLength设置无效。
ResponseTimeout Integer 可选 示例值：10
Coze 智能体回复超时时间。如果在设定的时间内未能收到智能体回复，系统会自动取消本次回复。单位为秒，取值范围 [0, 60]，默认为 10s。
如果您的 Coze 智能体内部配置了复杂流程（如 MCP、插件调用、工作流执行），其响应时间可能会变长。此参数用于设定一个合理的等待上限，避免因智能体长时间无响应而影响用户体验。
TTSConfig Object 可选 示例值：-
语音合成（TTS）相关配置。
注意
启用端到端语音模型（S2SConfig）后，该配置将失效。
AutoActive Boolean 可选 示例值：true
是否启用 TTSConfig 配置。
- true（默认值）：启用。
- false：禁用。禁用后，TTSConfig 配置会失效，同时 SubtitleMode: 0（对齐时间戳字幕）和SubtitleMode: 1（快速字幕）也不可用。不影响 ASRConfig 和 LLMConfig。
Provider String 必选示例值：-
语音合成服务提供商，使用不同语音合成服务时，取值不同。支持使用的语音合成服务及对应取值如下：
- volcano_bidirection：豆包语音 TTS 模型（流式输入流式输出），支持如下模型：
- （豆包语音）语音合成大模型（流式输入流式输出）
- （豆包语音）声音复刻大模型（流式输入流式输出）
- minimax：MiniMax 语音合成
- ai_gateway：自定义语音合成模型（通过火山边缘大模型网关接入的）
ProviderParams 必选示例值：-
配置所选的语音合成服务。不同服务下，该结构包含字段不同：
（豆包语音）语音合成大模型（流式输入流式输出_参数透传） Object
此方式支持语音合成大模型（流式输入流式输出）所有配置参数，相较于直传配置更灵活、功能更全面。
Credential Object 必选示例值：-
语音合成大模型服务的鉴权参数。
AppId String 必选示例值：94****11
Token String 必选示例值：OaO****ws1
ResourceId String 可选 示例值：volc.service_type.10029
语音合成大模型服务的版本。支持的取值如下：
- seed-tts-1.0 或 volc.service_type.10029（默认值）：语音合成大模型（即语音合成1.0）字符版
- seed-tts-1.0-concurr 或 volc.service_type.10048：语音合成大模型（即语音合成1.0）并发版
- seed-tts-2.0：豆包语音合成模型2.0 字符版（即语音合成2.0）
VolcanoTTSParameters String 可选 示例值："{\"req_params\":{\"speaker\":\"zh_female_vv_uranus_bigtts\",\"audio_params\":{\"speech_rate\":0,\"loudness_rate\":0}}}"
- 必填参数：必须包含参数 req_params.speaker（音色）。
说明
说明
- user
- event
- namespace
- req_params.text
- req_params.audio_params.format
- req_params.audio_params.enable_timestamp
- req_params.additions.max_length_to_filter_parenthesis
- req_params.additions.cache_config、req_params.additions.enable_latex_tn：仅当使用语音合成大模型 2.0（ResourceId 为 seed-tts-2.0）时，若启用了对齐时间戳的字幕（SubtitleMode: 0），不可传入。
- 其他参数：根据业务需求，按需选择（例如 req_params.audio_params.speech_rate）。
示例：以设置指定的音色（必填）并调整语速（可选）为例
- 先构建如下 JSON：
- 然后将其转为 JSON 字符串："{\"req_params\":{\"speaker\":\"zh_female_linjianvhai_moon_bigtts\",\"audio_params\":{\"speech_rate\":100}}}"
（豆包语音）语音合成大模型（流式输入流式输出_参数直传） Object
此方式封装了语音合成大模型（流式输入流式输出）部分通用参数，接入简单，但无法使用该服务的全部功能。
ResourceId String 可选 示例值：volc.service_type.10029
语音合成大模型服务的版本。支持的取值如下：
- seed-tts-1.0 或 volc.service_type.10029（默认值）：语音合成大模型（即语音合成1.0）字符版
- seed-tts-1.0-concurr 或 volc.service_type.10048：语音合成大模型（即语音合成1.0）并发版
- seed-tts-2.0：豆包语音合成模型2.0（即语音合成2.0）字符版。
app Object 必选示例值：-
语音合成大模型服务应用配置。
appid String 必选示例值：94****11
token String 必选示例值：OaO****ws1
audio Object 必选示例值：-
语音合成大模型服务音频配置。
voice_type String 必选示例值：zh_female_linjianvhai_moon_bigtts
注意
speech_rate Integer 可选 示例值：0
语速。取值范围 [-50, 100]，取值越大，语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
additions Object 可选 示例值：-
语音合成大模型服务高级配置。
enable_latex_tn Boolean 可选 示例值：true
播报 LaTeX 公式。启用后，AI 能够以自然语言朗读文本中的 LaTeX 格式的数学公式。
- false（默认值）：不播报。
- true：播报。 为true 时，disable_markdown_filter 也需为 true 才生效。
启用效果示例：
- LLM 返回：根据公式 a^2 + b^2 = c^2 可知...
- AI 播报：根据公式 a 的平方加上 b 的平方等于 c 的平方 可知...
- 字幕显示：根据公式 a^2 + b^2 = c^2 可知...
注意
使用语音合成大模型 2.0 或声音复刻大模型 2.0 时，该功能与 SubtitleMode: 0（对齐音频时间戳）不可同时开启。
disable_markdown_filter Boolean 可选 示例值：true
过滤 Markdown 格式。启用后，语音合成时会自动过滤 LLM 返回文本中的 Markdown 格式符号（如 #、** 等），确保语音播报的连贯性。字幕仍会按照原 LLM 返回文本显示。
- false（默认值）：不过滤。例如，**你好**，会读为“星星你好星星”。
- true：过滤。例如，**你好**，会读为“你好”。
启用效果示例：
- LLM 返回：请执行 **grep** 命令查看日志。
- AI 播报：请执行 grep 命令查看日志。
- 字幕显示：请执行 **grep** 命令查看日志。
（豆包语音）声音复刻大模型（流式输入流式输出_参数透传） Object
此方式支持声音复刻大模型（流式输入流式输出）所有配置参数，相较于直传配置更灵活、功能更全面。
Credential Object 必选示例值：-
声音复刻大模型的鉴权参数。
AppId String 必选示例值：94****11
Token String 必选示例值：OaO****ws1
ResourceId String 必选示例值：seed-icl-2.0
声音复刻大模型服务的版本。支持的取值如下：
- seed-icl-1.0：声音复刻大模型（即声音复刻1.0） 字符版
- seed-icl-1.0-concurr：声音复刻大模型（即声音复刻1.0）并发版
- seed-icl-2.0：豆包声音复刻模型2.0（即声音复刻2.0） 字符版
VolcanoTTSParameters String 可选 示例值："{\"req_params\":{\"speaker\":\"S_N****T7k1\",\"audio_params\":{\"speech_rate\":0}}}"
- 必填参数：必须包含参数 req_params.speaker（复刻声音 ID）。可在豆包语音控制台-声音复刻大模型获取。
- 不可传入的参数：不可以包含以下由平台管理的参数：
- user
- event
- namespace
- req_params.text
- req_params.audio_params.format
- req_params.audio_params.enable_timestamp
- req_params.additions.max_length_to_filter_parenthesis
- req_params.additions.cache_config、req_params.additions.enable_latex_tn：仅当使用声音复刻大模型 2.0（ResourceId 为 seed-icl-2.0）时，若启用了对齐时间戳的字幕（SubtitleMode: 0），不可传入。
- 其他参数：根据业务需求，按需选择（例如 req_params.audio_params.speech_rate）。
示例：以设置指定的音色（必填）并调整语速（可选）为例
- 先构建 JSON 对象：
- 将其转为 JSON 字符串：
- "{\"req_params\":{\"speaker\":\"S_The****K1\",\"audio_params\":{\"speech_rate\":100}}}"
（豆包语音）声音复刻大模型（流式输入流式输出_参数直传） Object
此方式封装了声音复刻大模型（流式输入流式输出）部分通用参数，接入简单，但无法使用该服务的全部功能。
audio Object 必选示例值：-
声音复刻大模型服务音频配置。
voice_type String 必选示例值：S_NIneGT7k1
speech_rate Integer 可选 示例值：0
语速。取值范围 [-50, 100]，取值越大，语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
ResourceId String 必选示例值：seed-icl-2.0
声音复刻大模型服务的版本。支持的取值如下：
- seed-icl-1.0：声音复刻大模型（即声音复刻1.0） 字符版
- seed-icl-1.0-concurr：声音复刻大模型（即声音复刻1.0）并发版
- seed-icl-2.0：豆包声音复刻模型2.0（即声音复刻2.0）字符版
additions Object 可选 示例值：-
声音复刻大模型服务高级配置。
enable_latex_tn Boolean 可选 示例值：true
播报 LaTeX 公式。启用后，AI 能够以自然语言朗读文本中的 LaTeX 格式的数学公式。
- false（默认值）：不播报。
- true：播报。 为true 时，disable_markdown_filter 也需为 true 才生效。
启用效果示例：
- LLM 返回：根据公式 a^2 + b^2 = c^2 可知...
- AI 播报：根据公式 a 的平方加上 b 的平方等于 c 的平方 可知...
- 字幕显示：根据公式 a^2 + b^2 = c^2 可知...
注意
使用语音合成大模型 2.0 或声音复刻大模型 2.0 时，该功能与 SubtitleMode: 0（对齐音频时间戳）不可同时开启。
disable_markdown_filter Boolean 可选 示例值：true
过滤 Markdown 格式。
启用后，语音合成时会自动过滤 LLM 返回文本中的 Markdown 格式符号（如加粗、标题等），确保语音播报的连贯性。
- false（默认值）：不过滤。
- true：过滤。
启用效果示例：
- LLM 返回：请执行 **grep** 命令查看日志。
- AI 播报：请执行 grep 命令查看日志。
- 字幕显示：请执行 **grep** 命令查看日志。
enable_language_detector Boolean 可选 示例值：false
是否自动识别语种。
- true：自动识别。
- false：不自动识别。
默认值为 false。
MiniMax 语音合成 Object
Authorization String 必选示例值：eyJhbG****SUzI1N
Groupid String 必选示例值：983*****669
model String 必选示例值：speech-01-turbo
发起请求的模型版本：
- speech-01-turbo：最新模型，拥有出色的效果与时延表现。
- speech-01-240228：稳定版本模型，效果出色。
- speech-01-turbo-240228：稳定版本模型，时延更低。
URL String 必选示例值：https://api.minimax.chat/v1/t2a_v2
请求语音合成 URL，该参数固定取值：https://api.minimax.chat/v1/t2a_v2。
voice_setting Object 可选 示例值：-
音频配置。
speed Float 可选 示例值：1.0
语速。取值越大，语速越快。
取值范围为 [0.5, 2]，默认值为 1.0。
vol Float 可选 示例值：1.0
音量。取值越大，音量越大。
取值范围为 (0, 10]，默认值为 1.0。
pitch Float 可选 示例值：0
语调。取值越大，语调越高。
取值范围为 [-12, 12]，且必须为整数。
默认值为 0，表示原音色输出。
voice_id String 可选 示例值：male-qn-jingying
系统音色编号/复刻音色编号。
- 系统音色可前往 voice_setting.voice_id 查询。
- 克隆音色参看 FAQ。
注意
voice_id 与 timber_weights必须设置其中一个。
pronunciation_dict Object 可选 示例值：-
特殊标注配置。可对特殊文字、符号指定发音。
tone String[] 可选 示例值：["燕少飞/(yan4)(shao3)(fei1)","达菲/(da2)(fei1)"，"omg/oh my god"]
用于替换需要特殊标注的文字、符号及对应的发音，可用于调整声调或指定其他字符的发音。格式为 "原文字/注音"，注音部分根据语言类型采用不同方式标注：
- 英文注音：使用对应发音的英文单词，例如："omg/oh my god"。
- 中文注音：使用拼音，并在每个音节后以括号标注声调，音调用数字表示：
- 一声（阴平）：1
- 二声（阳平）：2
- 三声（上声）：3
- 四声（去声）：4
- 轻声：5
例如，"燕少飞/(yan4)(shao3)(fei1)"、"达菲/(da2)(fei1)"。
默认为空。
timber_weights Object[] 可选 示例值：-
合成音色权重设置。可通过该参数设置多种音色混合，并调整每个具体音色权重。最多支持 4 种音色混合。
注意
timber_weights 与 VoiceSetting.voice_id必须设置其中一个。
voice_id String 可选 示例值：male-qn-jingying
weight Integer 可选 示例值：1
权重。取值为整数，单一音色取值占比越高，合成音色越像。取值范围为 [1, 100]。
stream Boolean 可选 示例值：false
是否开启流式输出。
- false：不开启流式输出。
- true：开启流式输出。
默认值为 false。
language_boost String 可选 示例值：auto
增强指定小语种/方言场景下的语音表现。不同场景下取值及含义如下：
- 不明确小语种类型：auto。取值为 auto 时，模型将自主判断小语种类型。
- 小语种：
- Spanish：西班牙语
- French：法语
- Portuguese：葡萄牙语
- Korean：韩语
- Indonesian：印度尼西亚语
- German：德语
- Japanese：日语
- Italian：意大利语
- auto：自动模式
- 方言：
- Chinese,Yue：粤语。Chinese,Yue 仅当 MiniMaxTTSConfig.model=speech-01-turbo 时生效。
默认值为空。
自定义语音合成 Object
URL String 必选示例值：wss://ai-gateway.vei.volces.com/v1/realtime?model=ttsname
边缘大模型网关的服务接入点 URL。StartVoiceChat 会通过此地址连接到网关，网关再将请求转发给你的定义 TTS 服务。
URL 为固定格式：wss://ai-gateway.vei.volces.com/v1/realtime?model=<TTS 调用名称>
Voice String 必选示例值：-
音色。填入自定义 TTS 服务所支持的音色名称。
OutputAudioSpeedRate Float 可选 示例值：0.0
语速。
透传字段，限制或默认行为由自定义模型决定。
OutputAudioVolume Float 可选 示例值：1.0
音量。
透传字段，限制或默认行为由自定义模型决定。
OutputAudioPitchRate Float 可选 示例值：0.0
音调。
透传字段，限制或默认行为由自定义模型决定。
ExtraData JSONMap 可选 示例值：-
传入自定义参数，将以 JSON 格式透传给你的自定义 TTS 服务。
ExtraHeader JSONMap 可选 示例值：{"custom_header": "value"}
自定义透传 Header。一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到您的自定义 TTS 服务请求中，可用于鉴权或其他自定义逻辑。
IgnoreBracketText Integer[] 可选 示例值：[1,2,3,4,5]
过滤 LLM 返回内容中指定括号内的文字，再进行语音合成。
适用于过滤 LLM 返回的情绪标记（如“开心”）、动作描写（如“点头”）或场景备注，避免 TTS 将这些辅助信息朗读出来，提升对话的沉浸感。
支持取值（默认为空，表示不过滤）：
- 1：中文括号 （）
- 2：英文括号 ()
- 3：中文方括号 【】
- 4：英文方括号 []
- 5：英文花括号 {}
使用方法
- 前提条件：需先编写 Prompt，引导大模型将不需要朗读的内容（如心理活动、动作）放入指定的括号中。详细说明，可参见控制语音播报内容。
- 长度限制：单组括号内的内容长度上限为 500 字符，超出限制的内容将无法被过滤。
- 字幕显示：一般情况下，被过滤的内容仍会显示在字幕中，但不会被播放。若括号内容位于回复的最末端，且被判定为独立句子（其后无其他有效语义），则会显示在字幕中。
- ...我知无不言！(自信满满）。 → (自信满满）。不会显示在字幕中。
- ...我知无不言（自信满满）！ → (自信满满）！ 会显示在字幕中。
Context Object 可选 示例值：-
配置 TTS 上下文及标签解析，以控制 AI 播报的语气（如欢快、伤心）、语速和音量等，使 AI 播报更具情感和表现力。
注意
该功能仅在使用豆包语音的语音合成大模型（流式输入流式输出）时生效。
TagParse Boolean 可选 示例值：true
是否开启 {{...}} 标签解析：
- true：开启。开启后，您还需在 LLM（方舟模型、Coze 智能体或第三方大模型）的系统提示词中引导 LLM 根据语境自动生成标准格式的指令标签，标签及其内容不会被朗读或显示在字幕中。标签格式和 Prompt 编写方法，请参见情绪识别与生成。
使用方舟或第三方大模型时，需在 LLMConfig.SystemMessages 编写 Prompt；解析在过滤之前，配置 IgnoreBracketText 不影响解析。
- false（默认值）：关闭。{{...}} 及其内容将被视为普通文本处理；若 IgnoreBracketText 配置了过滤 {}，标签及内容会被过滤。
QuoteUserQuestion Boolean 可选 示例值：true
是否将用户问题作为上下文传递给 TTS，让 TTS 模型根据对话语境自动匹配合适的回复语气。
- true（默认值）：是。
- false：否。
注意
该字段仅在使用豆包语音的语音合成大模型 2.0 时生效，且优先级低于指令标签。
Prefill Boolean 可选 示例值：true
是否将 LLM 生成结果实时送入 TTS 进行语音合成。
- true（默认值）：送入。该模式下 AI 响应速度最快，但若 LLM 推理内容随用户后续话语发生修正，会导致 TTS 重复合成，增加 TTS 字符消耗。
- false：不送入。且若 LLMConfig.Prefill 为 true ，系统会等待用户说话结束后才将文本送入 TTS 开始合成，降低 TTS 字符消耗成本。
InterruptMode Integer 可选 示例值：0
是否启用语音打断（发声即打断）：
- 0：开启。开启后，一旦检测到用户发出声音，AI 立刻停止输出。
- 1：关闭。关闭后，AI 说话期间，用户语音输入内容会被忽略不做处理，不会打断 AI 讲话。
默认值为 0。
SubtitleConfig Object 可选 示例值：-
获取实时字幕（对话记录）。
DisableRTSSubtitle Boolean 可选 示例值：false
是否关闭房间内客户端字幕回调。
- true：不通过客户端接收字幕回调消息。
- false（默认值）：通过客户端接收字幕回调消息。开启后，还需在客户端实现监听 （以 Android 为例），并解析字幕。
注意
如需通过服务端接收字幕回调，还需配置 AgentConfig.ServerMessageURLForRTS 和 AgentConfig.ServerMessageSignatureForRTS。
SubtitleMode Integer 可选 示例值：0
字幕类型。不同的类型决定了字幕的来源、与音频的同步关系以及接收速度。各类型接收速度排序为：3 > 1 > 0 = 2。
- 0（默认值）：对齐时间戳字幕。字幕来源于 TTS，与 AI 实际播报的音频在句子级别进行时间戳对齐。注意：当 TTSConfig.AutoActive 为 false 时该模式不可用。
- 1：快速字幕。字幕来源于 LLM 原始回复，但会过滤空格回车等特殊字符。返回时系统会将识别到的分句或整句一次性返回，字幕不对齐音频时间戳，可实现快速回调字幕信息。注意：当 TTSConfig.AutoActive 为 false 时该模式不可用。
- 2：音频帧对齐字幕。字幕来源于 TTS。音频帧与字幕精准对齐，实现类似卡拉 OK 的逐字高亮效果，并支持暂停和续播。注意：该模式与音频快速发送（Burst）功能不能同时启用。使用方式，可参见音频和字幕同步（音频帧对齐字幕）。
- 3：LLM 原始字幕。字幕来源于 LLM 的原始输出，无任何内容处理，完整保留换行符等格式。适用于内容保真、需快速回调字幕的场景。
注意
- 使用 豆包语音端到端实时语音大模型 后，该字段必须取值为 1，取值为 0 时字幕不生效。
- 使用语音合成大模型 2.0 或声音复刻大模型 2.0 时，若需设置 SubtitleMode: 0（对齐音频时间戳），必须关闭 enable_latex_tn（播报 LaTeX 公式）功能。
- 当 SubtitleMode 为1时，字幕收到下面中斜体{"definite": true, "paragraph": true, "roundId": 4, "text": ""}是符合预期的。
FunctionCallingConfig Object 可选 示例值：-
当您配置了 LLMConfig.Tools 后，当 LLM 识别到工具调用意图时，会下发 FC 调用通知和调用指令消息。默认情况下指令可由客户端接收处理；如果您希望在后端服务器上接收并处理这些指令则必须配置此项。
ServerMessageUrl String 必选示例值：https://example-domain:8080/m2
您的业务服务器地址（URL），用于接收 Function calling 调用通知和调用指令消息。
- URL 地址要求：
- 必须为公网可访问的域名地址。若使用 HTTPS，请确保 SSL 证书合法且完整。
- 请确保该 URL 指向的服务端能够正常处理无 Content-Type 的 POST 请求。
- 消息接收和解析说明：参见服务端实现 Function Calling 功能。
说明
您可以使用以下命令快速校验回调地址是否满足要求：curl -v -X POST <url>。
- 若返回 301 或 302：说明 URL 地址不可用。此时 POST 请求会被降级为 GET 请求，导致数据丢失。该问题通常是由于填写的 HTTP 地址发生了跳转（如强制跳转至 HTTPS），建议直接配置最终跳转后的 HTTPS 地址。
- 若返回 307 或 308：说明 URL 地址可用。虽然发生了重定向，但机制允许保持 POST 方法和请求体，回调可正常接收。
ServerMessageSignature String 必选示例值：TestSignature
签名密钥。用于验证回调请求的真实性，由您自定义。
当平台向您的 ServerMessageUrl 发送回调请求时，会在请求体返回 signature 字段，其值为您配置的密钥。您的服务端必须校验 signature 的值是否与您预设的密钥一致，以确保请求来源可靠。
WebSearchAgentConfig Object 可选 示例值：-
联网问答 Agent 配置。
将火山联网问答 Agent 作为内置工具接入（通过 Function calling 机制），让 AI 实时从互联网检索信息并进行总结回答的能力。例如，查询最新资讯、获取天气信息、询问实时股价等。详细配置，请参见接入联网问答 Agent。
注意
- 仅支持 Function calling 的第三方大模型或火山方舟模型支持该功能。具体支持的方舟模型，请参见 模型列表-工具调用。
- 不建议使用 doubao-seed-1.6-thinking，该模型会强制开启思考模式，且不可关闭，可能造成较高时延。
APIKey String 可选 示例值：your_volcengine_api_key
仅当 Enable 为 true 时必填。
ParamsString String 可选 示例值：{\"bot_id\":\"74...7\",\"stream\":true}
透传联网问答 Agent 服务的参数（JSON 字符串）。仅当 Enable 为 true 时必填。
如何填写：
- 参考 联网问答 Agent API 文档，在请求参数 ChatCompletionRequest 中选取所需参数，构建 JSON 字符串。
- bot_id：必选。联网问答 Agent ID。可在联网问答 Agent 控制台获取。
- stream：必选，且必须设置为 true。
- 其他参数：按需选择并配置。
示例：
- 将JSON 对象转换为 JSON 字符串，如 {\"bot_id\":\"74...7\",\"stream\":true}。
FunctionName String 可选 示例值：webSearch
自定义名称，用于标识联网问答 Agent ，作为 AI 触发联网时调用的函数名。
- 仅当 Enable 为 true 时必填。
- 该名称不能与 Function calling （Tools.function.name）和 MCP（MCP.Name）里定义的工具重名。
后续操作：定义好名称后，建议在 LLMConfig.SystemMessages 添加提示词，引导模型准确触发联网问答 Agent。
提示词示例：
- webSearch：仅当用户询问具有强时效性的信息（如今日天气、实时金价、最近的新闻事件、足球赛果）才调用。
FunctionDescription String 可选 示例值：查询实时信息，如今天的天气、最新的新闻、A 股票的当前价格等
用自然语言描述你希望 AI 在什么情况下触发联网搜索。它会作为 Prompt 的一部分，帮助 LLM 更精准地判断是否需要触发联网搜索。
仅当 Enable 为 true时必填。
ComfortWords String 可选 示例值：正在为您联网查询，请稍等...
安抚语。当 AI 触发联网搜索时，会先通过 TTS 播报这段安抚语，提高用户在等待搜索结果时的体验。如果留空，则不播报。
注意
安抚语的末尾必须包含标点符号。
DisableImageSearch Boolean 可选 示例值：false
是否关闭联网图搜功能。
- false（默认值）：开启。开启后，当模型启用了视觉理解能力后，触发联网搜索时会携带当前缓存的图片（截图或外部图片）。
- true：关闭。联网搜索时仅发送文本，不携带图片。
注意
联网图搜仅在模型支持且开启视觉理解能力时生效（VisionConfig.Enable 为 true）。
MemoryConfig Object 可选 示例值：-
记忆库配置。通过接入火山记忆库（基于向量数据库 VikingDB），赋予 AI 跨会话的长期记忆能力。
注意
Enable Boolean 可选 示例值：true
是否开启记忆库检索。
- false（默认值）：不开启。
Provider String 可选 示例值：volc
记忆库服务提供商。当前固定取值为 volc，表示火山记忆库。
当 Enable 为 true 时为必填。
ProviderParams Object 可选 示例值：-
记忆库详细配置，用于定义记忆库的检索目标和规则。
当 Enable 为 true 时为必填。
collection_name String 可选 示例值：customer_service_memory
当 Enable 为 true 时为必填。
filter Object 可选 示例值：-
检索过滤条件。用于精确筛选需要召回的记忆。
当 Enable 为 true 时为必填。
user_id String[] 可选 示例值：["user1", "user2"]
用户 ID 列表。用于筛选特定用户的记忆。
- user_id 和 assistant_id 至少填写一个。
- 此字段对应 VikingDB 的 AddSession 接口中 default_user_id 或 role_id 的值。
assistant_id String[] 可选 示例值：["agent007"]
Assistant ID。用于筛选特定 AI 产生或参与的记忆。
- user_id 和 assistant_id 至少填写一个。
- 此字段对应 VikingDB 的 AddSession 接口中 default_assistant_id 或 role_id的值。
memory_type String[] 可选 示例值：your_event_type
记忆抽取规则。当前仅支持事件规则，请填入你在创建记忆库时定义的事件规则名称。
- 当 Enable 为 true 时为必填。
- 事件规则名称可在控制台获取，或通过 API CollectionInfo获取。
group_id String[] 可选 示例值：group_A
群组 ID。支持传入单个或多个群组 ID。
session_id String[] 可选 示例值：session_123
会话 ID。支持传入单个或多个会话 ID。
start_time Integer 可选 示例值：672502400000
检索记忆的起始时间（毫秒级 Unix 时间戳）。不传则默认检索全部历史。
end_time Integer 可选 示例值：1675180800000
检索记忆的终止时间（毫秒级 Unix 时间戳）。不传则默认至当前时间。
limit Integer 可选 示例值：10
指定单次召回记忆的最大条数。默认为 10，取值范围 [1, 5000]。
transition_words String 可选 示例值：查询到的记忆内容如下：
过渡语。 此文本会插入到用户问题和召回的记忆内容之间，作为上下文一同发送给大模型，用于引导 LLM 理解和组织回复。例如：“小明对比赛结果有什么判断？（**查询到的记忆内容是**：********）”。
Score Float 可选 示例值：0.7
召回的记忆的置信度阈值，可用于过滤与当前问题相关性较低的记忆，从而提升回复精准性。
一次检索可能召回多条记忆（由 limit 参数控制）。系统会为每条记忆计算一个“相关性得分”，只有得分不低于设定阈值的记忆会被采纳；低于设定阈值的记忆会被丢弃。
- 取值范围：[0.0, 1.0]。
- 默认值：0，表示不过滤，所有召回的记忆都会被作为上下文。
EnableVoicePrintMemoryRecall Boolean 可选 示例值：false
是否开启声纹关联长期记忆召回。
- false（默认值）：不开启。
- true：开启。系统会在每轮长期记忆检索前读取当前声纹识别结果，并按识别出的说话人身份召回对应长期记忆，适用于多人共享设备下的个性化对话场景。
注意
该能力仅在声纹识别模式下生效（ AgentConfig.VoicePrint.Mode = 2）。
S2SConfig Object 可选 示例值：-
端到端语音模型配置。
相较于 ASR+LLM+TTS 方案，端到端模型可直接完成语音输入输出，降低模块间的处理与传输延迟，从而提供更流畅、更自然的对话体验。
注意
- 目前仅支持接入豆包端到端实时语音大模型。在使用前，您需要先在豆包语音控制台开通“豆包端到端实时语音大模型”服务并获取 appid 和 token。
- 如果配置了 S2SConfig，ASRConfig 和 TTSConfig 将失效；通过服务端 API UpdateVoiceChat 或 客户端 API sendUserBinaryMessage发送的 ExternalPromptsForLLM 和 ExternalTextToLLM 指令不生效。
Provider String 必选示例值：volcano
端到端语音模型服务提供商。
当前仅支持取值 volcano，表示豆包语音端到端实时语音大模型。
OutputMode Integer 可选 示例值：0
输出模式：
- 0（默认值）：纯端到端模式。对话仅由端到端模型处理，不经过 LLMConfig 中的大模型。此模式延迟最低，适用于纯闲聊场景。
- 1：混合编排模式（端到端模型+LLM）。用户语音会同时发送给端到端模型和在 LLMConfig 配置的模型。系统根据 LLMConfig 是否触发函数调用（Function Calling）来决定输出：若触发函数调用，则采用 LLMConfig 的输出；否则采用端到端模型的输出。
说明
采用混合编排模式时，LLMConfig仅支持使用火山方舟大模型，且不支持视频和图片理解。
ProviderParams Object 必选示例值：-
语音端到端大模型的详细配置。
dialog Object 必选示例值：-
对话相关配置。
extra Object 必选示例值：-
高级配置，比如设置模型版本、联网搜索、安全审核等级等。
model String 必选示例值：1.2.1.1
端到端实时语音大模型版本。支持的取值：
- 1.2.1.1：O2.0 版本。
- 2.2.0.0：SC2.0 版本。
strict_audit Boolean 可选 示例值：true
安全审核等级：
- true（默认值）：严格审核。
- false：普通审核。
audit_response String 可选 示例值：抱歉这个问题我无法回答，你可以换个其他话题，我会尽力为你提供帮助
当触发安全审核时，AI 的自定义回复内容。
volc_websearch_api_key String 可选 示例值：your_api_key
当 enable_volc_websearch 为 true 时，该字段必填。
volc_websearch_type String 可选 示例值：web_summary
联网类型。
- web_summary（默认值）：总结版。
- web：普通版。
- web_agent：搜索 Agent。
volc_websearch_result_count Integer 可选 示例值：10
联网搜索返回的结果数量，最多 10 条，默认 10 条。
volc_websearch_no_result_message String 可选 示例值：网络上没有找到相关信息。
安抚语，当联网搜索无结果时的回复内容。默认为空。
enable_music Boolean 可选 示例值：false
是否开启音乐播放能力。开启后，模型会检索曲库并播放音乐。
- true：不开启。
- false（默认值）：开启。
enable_loudness_norm Boolean 可选 示例值：false
是否开启响度均衡。开启后，系统会自动调节输出音频的音量一致性，防止声音忽大忽小。
- true：不开启
- false（默认值）：开启。
enable_conversation_truncate Boolean 可选 示例值：false
是否开启上下文截断。开启后，允许客户端主动截断历史对话，优化长对话性能。
- true：不开启。
- false（默认值）：开启。
enable_user_query_exit Boolean 可选 示例值：false
是否开启结束对话意图识别。开启后，系统能识别用户是否想结束对话（如说“再见”），并下发特定信号。
- true：不开启。
- false（默认值）：开启。
bot_name String 可选 示例值：豆包
模型在对话中自称的名字。默认为 豆包。长度不超过 20 个字符。
注意
仅当模型版本为 O 系列版本（ extra.model取值 1.2.1.1）时生效。
system_role String 可选 示例值：你是大灰狼、用户是小红帽，用户逃跑时你会威胁吃掉他。
系统人设信息。描述角色的身份设定、任务目标及核心逻辑。
注意
仅当模型版本为 O 系列版本（ extra.model取值 1.2.1.1）时生效。
speaking_style String 可选 示例值：你说话偏向林黛玉
对话风格描述。约束模型输出的口吻、情绪或特定语调。
注意
仅当模型版本为 O 系列版本（ extra.model取值 1.2.1.1）时生效。
dialog_id String 可选 示例值：dialog_123
对话 ID。用于加载历史对话记录以维持上下文连贯性。
若不传则启动全新对话；若传入已有的 dialog_id，服务端会加载最近 20 轮 Q&A 记忆。
character_manifest String 可选 示例值：-
角色演绎描述。提供深度的角色扮演信息。
注意
仅当 extra.model为 SC 版本（取值 2.2.0.0）时生效。
location Object 可选 示例值：-
用户位置信息。
客户端传入的用户地理位置信息，用于提升联网搜索结果的精准度。关闭内置联网功能时无需传入此字段。
longitude Float 可选 示例值：116.4074
经度。
latitude Float 可选 示例值：39.9042
纬度。
country String 可选 示例值：中国
国家名称。默认为 中国。
country_code String 可选 示例值：CN
国家代码（ISO 3166-1 alpha-2）。默认为 CN。
province String 可选 示例值：北京市
省份名称。
city String 可选 示例值：杭州市
城市名称。
district String 可选 示例值：海淀区
区/县名称。
town String 可选 示例值：中关村街道
乡镇/街道名称。
address String 可选 示例值：北京市海淀区中关村
详细地址信息。
asr Object 可选 示例值：-
ASR（语音识别）相关配置。
extra Object 可选 示例值：-
ASR 额外配置参数。
end_smooth_window_ms Integer 可选 示例值：1500
判停时间。用户停顿时间若高于该值，则认为一句话结束。取值范围 [500, 50000]，单位为毫秒，默认 1500。
enable_asr_twopass Boolean 可选
是否开启非流式模型二遍识别能力：
- true：开启。在流式识别基础上，对检测到的完整语句片段进行二次非流式识别，兼顾实时性与准确性。
- false（默认值）：仅使用流式识别。
boosting_table_id String 可选 示例值：your_boosting_table_id
如果某些词汇（比如人名、产品名等）的识别准确率较低，可以将其作为热词传入模型，提高输入词汇的识别准确率。例如传入"雨伞"作为热词，发音相似的词会优先识别为“雨伞”。
注意
仅在 enable_asr_twopass 为 true时生效。
boosting_table_name String 可选 示例值：your_boosting_table_name
注意
仅在 enable_asr_twopass 为 true时生效。
regex_correct_table_name String 可选 示例值：your_regex_correct_table_name
context Object 可选 示例值：-
直传自定义热词或替换词。
词表配置与 context 内配置同时传值时自动合并，所有规则叠加生效。
hotwords Object[] 可选 示例值：[{"word": "火山引擎"}]
直传热词。
- 格式为 [{"word":"xxx"}]。
- 仅在 enable_asr_twopass 为 true 时生效。
correct_words JSONMap 可选 示例值：{"火上": "火山"}
直传替换词。格式为 {"正则原文本":"替换后文本"}。
regex_correct_table_id String 可选 示例值：your_regex_correct_table_id
tts Object 可选 示例值：-
语音合成配置。
speaker String 可选 示例值：zh_female_vv_jupiter_bigtts
audio_config Object 可选 示例值：-
输出音频配置。
channel Integer 可选 示例值：1
声道数。目前仅支持 1（单声道）。
format String 可选 示例值：pcm_s16le
音频编码格式。支持 pcm (32bit) 和 pcm_s16le (16bit)。
sample_rate Integer 可选 示例值：24000
音频采样率。单位：Hz。目前仅支持 24000。
speech_rate Integer 可选 示例值：0
语速。取值范围 [-50, 100]，取值越大语速越快。
- 100：2.0 倍速。
- -50：0.5 倍速。
- 0（默认值）：原语速。
注意
仅 2.0 版本模型支持该功能。
loudness_rate Integer 可选 示例值：0
音量。取值范围 [-50, 100]，取值越大音量越大。
- 100：2.0 倍音量。
- -50：0.5 倍音量。
- 0（默认值）：原音量。
注意
仅 2.0 版本模型支持该功能。
MusicAgentConfig Object 可选 示例值：-
AI 音乐 Agent 配置。启用后，AI 可根据用户指令，为用户播放音乐或控制音乐播放（如：上一首、下一首、暂停播放、停止播放、继续播放等）。
注意
- 仅具备 Function Calling 功能的方舟或第三方大模型支持该功能。
- 该功能目前为限时免费公测阶段。音乐来源于火山引擎内部 AI 音乐曲库，不包含有明确版权的明星歌曲。
- 音乐音频流的处理逻辑与普通对话音频流一致，支持被语音或手动打断。
Enable Boolean 可选 示例值：true
是否启用 AI 音乐 Agent：
- true：启用。
- 下一步操作：AI 音乐 Agent 是以内置工具的形式提供，启用后，您还需在 LLMConfig.SystemMessages 中添加提示词，引导模型准确调用该内置工具。
- 提示词示例：当用户意图为播放音乐或控制音乐播放时（如：上一首、下一首、暂停播放、停止播放、继续播放等），才触发 music_player 工具调用。如果用户仅说“暂停”、“停止”、“停一下”等模糊指令时，需先判断上下文。若上一轮问题与音乐播放无关，应视为用户要求“停止对话”，此时应直接以文字回应，禁止调用工具 music_player 。
- false（默认值）：关闭。
AgentConfig Object 必选示例值：-
AI Bot 相关配置，包括欢迎词、状态回调等信息。
TargetUserId String[] 必选示例值：["user1"]
与智能体对话的用户 ID。需使用客户端 SDK 进房的用户的 UserId。仅支持传入一个 UserId，即单个房间内，仅支持一个用户与 AI Bot 一对一通话。
注意
TargetUserId 的值不能与 AgentConfig.UserId（智能体 ID）相同。
UserId String 必选示例值：BotName001
智能体的 ID。由你自定义。
命名规则：
- 支持由大小写字母（A-Z、a-z）、数字（0-9）、下划线（_）、短横线（-）、句点（.）和 @ 组成，最大长度为 128 个字符。
- 同一 AppId 下 UserId 全局唯一。若同一 AppId 下不同房间内 AI Bot 名称相同，会导致使用服务端回调的功能异常，如字幕、Function Calling 和状态回调功能。
- UserId 的值不能与 AgentConfig.TargetUserId 相同。
WelcomeMessage String 可选 示例值：Hello
欢迎词。
EnableConversationStateCallback Boolean 可选 示例值：false
是否开启 AI Bot 状态变化消息（二进制格式），以获取 AI Bot的关键状态（如“聆听中”、“思考中”、“说话中”、“被打断”等）。
- true：开启。启用后，消息可通过二进制格式回调给客户端或服务端。
- 回调给客户端：还需在客户端实现监听回调 （以 Android 端为例）。
- 回调给服务端：还需配置字段 ServerMessageURLForRTS 和 ServerMessageSignatureForRTS。
- false（默认值）：关闭。
ServerMessageURLForRTS String 可选 示例值：https://example-domain.com/vertc/callback
您的业务服务器地址（URL），用于接收服务端回调消息（包括 AI Bot 状态变化和实时字幕）。
URL 地址要求：
- 公网可访问的域名地址。若使用 HTTPS，请确保 SSL 证书合法且完整。
- 该 URL 指向的服务端能够正常处理无 Content-Type 的 POST 请求。
说明
您可以使用以下命令模拟回调请求，快速校验服务器配置是否满足要求：curl -v -X POST <url>。
- 若返回 301 或 302：说明 URL 地址不可用。此时 POST 请求会被降级为 GET 请求，导致数据丢失。该问题通常是由于填写的 HTTP 地址发生了跳转（如强制跳转至 HTTPS），建议直接配置最终跳转后的 HTTPS 地址。
- 若返回 307 或 308：说明 URL 地址可用。虽然发生了重定向，但机制允许保持 POST 方法和请求体，回调可正常接收。
ServerMessageSignatureForRTS String 可选 示例值：b4****d6a
签名密钥。用于验证服务端回调请求（包括 AI Bot 状态变化和实时字幕）的真实性，由您自定义。
当平台向您的 ServerMessageURLForRTS 发送回调请求时，会在请求体返回 signature 字段，其值为您配置的密钥。您的服务端必须校验 signature 的值是否与您预设的密钥一致，以确保请求来源可靠。
UseLicense Boolean 可选 示例值：true
是否为 License 用户。
- true：是。
- false：否。
默认值为 false。
若为 License 用户，你需要：
- 联系技术支持开通白名单。
- 前往控制台硬件场景服务获取你需要的 ASR、TTS 和 LLM 相关参数值。注意：你必须使用在此处获取的 ASR、TTS 和 LLM 参数值。
- 如果你使用大模型流式语音识别和大模型语音合成，在调用 StartVoiceChat 接口时，ASRConfig.ProviderParams.AccessToken 和 TTSConfig.ProviderParams.AccessToken无需填入。
Burst Object 可选 示例值：-
配置音频快速发送，以提高弱网或网络抖动环境下的播放流畅度，减少卡顿。
默认，服务端逐帧发送 10ms 的数据给客户端。在弱网环境下，一旦网络波动导致数据包晚到，客户端播放器可能会出现卡顿。该功能可解决该问题。
注意
- 该功能仅在嵌入式硬件场景下支持，且嵌入式 VolcEngineRTCLite SDK版本不低于1.57。
- 该功能与音频帧对齐字幕（SubtitleMode: 2）不可同时启用。
Enable Boolean 可选 示例值：true
是否开启音频快速发送功能。
- false：关闭。
- true：开启。开启后，在单轮会话回复开始时，服务端会将指定时长（由 BufferSize 决定）的音频数据一次性“突发”给客户端，在客户端快速建立一个播放缓冲区，用以对抗网络抖动。
默认值为 false。
BufferSize Integer 可选 示例值：500
服务端在突发阶段一次性发送的初始音频时长。
取值范围为 [10, 3600000]，单位为 ms，默认值为 500。
Interval Integer 可选 示例值：10
突发结束后，服务端给客户端发送后续音频数据的时间间隔。后续服务端以这个速率均匀发送数据给客户端。
取值范围 [10, 600]，单位为 ms，默认值为 10。
IdleTimeout Integer 可选 示例值：180
空闲等待超时时间（单位：秒）。默认值为 180s。
当房间内 AgentConfig.TargetUserId 用户时， AI Bot 自动退出的等待时长。超过该时间，自动结束与 AI 对话。可避免因用户异常掉线导致任务长时间空转，产生不必要的费用。建议根据业务场景合理设置。
AnsMode Integer 可选 示例值：1
AI 降噪。对音频进行智能降噪处理，适用于不具备或不便开启端侧 AI 降噪能力的终端。例如：若物联网、智能硬件设备算力有限，无法运行复杂的端侧降噪算法的场景。
可根据实际噪声环境选择不同级别的降噪模式：
- 0（默认值）：禁用 AI 降噪。
- 1：轻度降噪。适用于抑制微弱、平稳的背景噪声。
- 2：中度降噪。适用于抑制中度平稳噪声，如空调声、风扇声。
- 3：重度降噪。适用于抑制嘈杂、非平稳的动态噪音，如键盘敲击声、物体碰撞声、动物叫声等。
VoicePrint Object 可选
声纹配置（包含声纹降噪和声纹识别）。
注意
- 声纹功能目前为免费公测阶段，算法还在进一步优化。
- 使用声纹功能时，仅支持流式 ASR，且 StreamMode 不能为 1（流式输入非流式输出）。
- 使用声纹功能时，建议不要开启 AI 降噪，以免影响声纹降噪/声纹识别的效果。
- 声纹效果受 AEC 算法及音频采集质量影响，推荐使用媒体模式，且采样率不低于 16kHz。
Mode Integer 可选 示例值：1
声纹处理模式：
- 0（默认值）：关闭声纹功能。
- 1：声纹降噪。从混合人声中分离并增强目标说话人的声音，抑制其他背景人声的干扰。适用于背景人声干扰较强的场景（如嘈杂办公室），或需要对操作者身份进行验证的场景。如车载语音助手，防止儿童或乘客误操作。
- 2：声纹识别。通过声纹比对识别出当前正在说话的人是谁，识别成功后系统会自动将识别到的说话人身份（VoicePrintId 对应的角色名）拼接到用户提问的上下文中。适用于多用户共享同一个 AI 设备或服务的场景，以提供个性化服务。
IdList String[] 可选 示例值：["vp_id_123"]
声纹 ID 列表。
- 当 Mode = 1 时（声纹降噪）：
- 传入 1 个预注册声纹 ID（使用预注册声纹）：系统加载该声纹作为目标说话人模板，仅保留匹配的人声。仅支持传入 1 个声纹 ID。
- 空或不传（自动注册声纹）：系统在通话开始后自动学习 TargetUserId 的声音特征。当用户累计说话时长达到 VoiceDuration（有效语音时长）后，生成一个临时声纹，用于本次通话的降噪。
- 当 Mode = 2 时（声纹识别）：传入 1～3 个已注册的声纹 ID。
说明
- 声纹可通过 RegisterVoicePrint 和 ListVoicePrint 预注册或获取（对应字段 VoicePrintId）。
- 为保证最佳效果，建议注册声纹与实际通话使用相同的音频采集设备。
VoiceDuration Integer 可选 示例值：12
声纹降噪模式下，自动注册声纹时所需的有效语音时长。单位为秒。
- 取值范围：[2, 33]。
- 默认值：12。
注意
该字段仅在 Mode 为 1 且 IdList为空时生效。
EnableSV Boolean 可选 示例值：false
声纹降噪模式下，是否验证说话人身份：
- false（默认值）：关闭。
- true：开启。系统会实时提取说话人的声纹特征，并与 IdList 中预注册或自动注册的声纹比对。仅当匹配分数达到 Score 阈值时，才将 ASR 识别结果送入 LLM；低于阈值时会直接拒识，不将 ASR 结果送入 LLM，从而避免背景人声误触发 AI。
注意
该字段仅在启用声纹降噪（Mode=1）时生效。
ProcessMode Integer 可选 示例值：2
声纹降噪算法版本。
- 1：声纹降噪算法 V1。
- 2（默认值，推荐）：声纹降噪算法 V2。
注意
SVMode Integer 可选 示例值：2
强化声纹降噪算法版本。即在声纹降噪的基础上叠加声纹比对，进一步过滤非目标说话人的语音。
- 1：强化声纹降噪算法 V1。
- 2（默认值，推荐）：强化声纹降噪算法 V2。
注意
版本需与 ProcessMode 保持一致，且仅支持ProcessMode:1 + SVMode:1 和 ProcessMode:2 + SVMode:2两种组合。
Score Integer 可选 示例值：40
声纹的置信度阈值。作用取决于声纹处理模式：
- 声纹降噪模式（Mode=1）：基于声纹的强校验阈值。仅在 EnableSV 为 true 时生效；未开启 EnableSV 时，Score 不参与拦截。分数达到阈值时，判定为目标用户，ASR 结果送入 LLM；分数低于阈值时，直接拒识，ASR 结果不送入 LLM。
- 声纹识别模式（Mode=2）：身份识别的最低分数门限。系统会计算实时语音与预注册声纹的“相似度分数”。分数达到阈值时，会将对应身份信息携带给 LLM；分数低于阈值时，不携带该身份信息，但语音本身仍会正常送入 LLM。
- 取值范围：[1, 100]。
- 推荐值：40 ~ 60。
- 默认为空，不进行置信度过滤。
返回参数
错误码
完整请求结构（均使用火山服务）
豆包流式语音识别模型2.0（参数透传）
豆包流式语音识别模型2.0（参数直传）
（豆包语音）语音合成大模型 2.0（流式输入流式输出-参数透传）
（豆包语音）语音合成大模型 2.0（流式输入流式输出-参数直传）
（豆包语音）声音复刻大模型 2.0（流式输入流式输出-参数透传）
MiniMax 语音合成
火山方舟大模型
第三方大模型
请求示例
POST https://rtc.volcengineapi.com?Action=StartVoiceChat&Version=2024-12-01
{
"AppId": "661e****543cf",
"RoomId": "Room1",
"TaskId": "task1",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"Mode": "bigmodel",
"AppId": "93****21",
"AccessToken": "MOaOa*****HA4h5B",
"ApiResourceId": "volc.seedasr.sauc.duration",
"StreamMode": 2
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"app": {
"appid": "94****11",
"token": "OaO****ws1"
},
"audio": {
"voice_type": "zh_male_qingshuangnanda_mars_bigtts",
"speech_rate": 0
},
"ResourceId": "volc.service_type.10029"
}
},
"LLMConfig": {
"Mode": "ArkV3",
"EndPointId": "epid****212",
"MaxTokens": 1024,
"Temperature": 0.1,
"TopP": 0.3,
"SystemMessages": [
"你是小宁，性格幽默又善解人意。你在表达时需简明扼要，有自己的观点。"
],
"UserPrompts": [
{
"Role": "user",
"Content": "你好"
},
{
"Role": "assistant",
"Content": "有什么可以帮到你的？"
}
],
"HistoryLength": 3
}
},
"AgentConfig": {
"TargetUserId": [
"user1"
],
"WelcomeMessage": "Hello",
"UserId": "BotName001"
}
}
响应示例
{
"Result": "ok",
"ResponseMetadata": {
"RequestId": "20230****10420",
"Action": "StartVoiceChat",
"Version": "2024-12-01",
"Service": "rtc",
"Region": "cn-north-1"
}
}
最近更新时间：2026.10.15 15:25:50
这个页面对您有帮助吗？
有用
有用
无用
无用