实时音视频
实时音视频
文档指南
请输入
实时音视频
快速入门
场景方案
开发指南
Token 鉴权
音频管理
视频管理
屏幕共享
SDK 升级指南
客户端 API 参考
服务端 API 参考
房间管理
转推直播
输入在线媒体流
WTN 流（原公共流）
实时数据监控
历史数据查询
业务标识管理
实时消息通信
历史版本（文档停止维护）
2023-08-01
2023-06-01
转推直播
2022-06-01
2020-12-01
转推直播
输入在线媒体流
获取数据指标
常见问题
集成相关
质量相关
AI 音视频互动方案
开发指南
配置 ASR/LLM/TTS 服务
API 参考
硬件对话智能体
用户指南
服务端 API
智能体
实时信令
互动白板
客户端 API 参考
服务端 API 参考
- 文档首页
实时音视频AI 音视频互动方案发版说明
复制全文
下载 pdf发版说明
文档反馈
问问助手2026 年
- 2026 年 10 月
-
- 功能说明发布时间相关文档MiniMax 语音合成新增支持接入 MiniMax 双向流式语音合成。2026-10-16LLM使用火山方舟 LLM 时，如果模型输出命中内容审核，系统会自动移除本轮敏感上下文，避免相关文本继续进入后续 LLM 请求。VoiceChat 事件回调新增 llmIncomplete 状态，并通过 ExtraInfo.FinishReason 区分命中内容审核（contentFilter）和达到输出长度上限（length）；达到输出长度上限时不移除上下文。2026-10-16
- 2026 年 09 月
-
- 功能说明接口版本发布时间相关文档Function Calling新增 LLMConfig.EnableToolCallHistory 参数。开启后，若某轮触发 Function Calling，系统会将该轮的工具调用指令和工具返回结果随该轮历史一起写入后续 LLM 请求，便于模型基于此前工具执行结果继续多轮对话。该能力默认关闭，仅在已配置 LLMConfig.Tools 并实际触发 Function Calling 时生效；HistoryLength 仍按对话轮次计数，一次完成的用户提问及其最终回复计为一轮，中间产生的工具调用指令和工具返回结果归入该轮，并随该轮一起保留和逐出。2025-06-012024-12-012026-09-01LLMStartVoiceChat（2025-06-01） 支持接入自定义开通的火山方舟模型，接入时需同时传入 ModelName 和 APIKey，其中 ModelName 支持填写模型的 Model ID 或接入点 ID；自定义开通的方舟模型不折算为 Tokens，不可通过 Tokens 资源包抵扣，计费由火山方舟收取。2025-06-012026-09-01记忆库（长期记忆）新增 MemoryConfig.EnableVoicePrintMemoryRecall 参数。开启后，系统会在每轮长期记忆检索前读取当前声纹识别结果，并优先按识别出的说话人身份召回对应长期记忆，适用于多人共享设备下的个性化对话场景。该能力需同时开启 MemoryConfig.Enable，并将 AgentConfig.VoicePrint.Mode 设置为 2（声纹识别模式）。写入记忆库时，建议使用与声纹注册名称（AudioName，字幕中的 voiceprintName）一致的用户身份标识。2025-06-012024-12-012026-09-01实时字幕字幕回调新增 voiceprintScore 字段，用于返回声纹相似度分数。2025-06-012024-12-012026-09-01外部文本自定义信息透传通过 UpdateVoiceChat 接口的 ExternalTextToSpeech 指令传入外部文本时，支持在 AdvanceConfig.CustomInfo 中携带业务自定义信息，并随对应轮次字幕的 customInfo 字段原样下发。2025-06-012024-12-012026-09-01
- 2026 年 08 月
-
- 功能说明接口版本发布时间相关文档视觉理解视觉理解能力增强。新增对象 VisionConfig.VisualContext，实现短期视觉记忆、目标型和持续型观察任务；并支持通过 TopUserPrompts 传入一张或多张图片作为视觉上下文，辅助人物、商品、设备等目标识别与问答；同时补充视觉记忆和观察任务相关事件回调说明，便于业务侧接收状态变化。说明仅火山方舟模型支持上述能力。2025-06-012024-12-012026-08-27
- 2026 年 07 月
-
- 功能说明接口版本发布时间相关文档声纹
- 新增参数 ProcessMode（声纹算法版本）和 SVMode（强化声纹降噪算法），提升声纹降噪和识别准确率.
- 声纹状态回调新增 Failed 状态，并返回错误码和错误信息。
2025-06-012024-12-012026-07-24- RegisterVoicePrint 和 UpdateVoicePrint 接口新增 Version 参数，新增声纹算法 V2，并选择或修改声纹算法版本。
2024-12-012026-07-24语音识别FarfieldConfig 中新增 InterruptThreshold 参数，可调整打断的能量阈值，减少误打断。2025-06-012024-12-012026-07-24视觉理解SnapshotConfig 新增支持按真实分辨率抽帧截图，当 Height ≤ 14 时启用，截图分辨率跟随 RTC 原始视频帧，不做额外缩放；当 Height > 14 时保持原有固定高度缩放逻辑。2025-06-012024-12-012026-07-23视觉理解VisionConfig 新增 VisualContext 配置，支持短期视觉记忆召回和持续观察。AI 可结合当前任务内的近期画面回答问题，也可在画面满足预设条件时通过语音播报或 VisualWatchTask 事件回调反馈。2025-06-012026-07-22
- 2026 年 06 月
-
- 功能说明接口版本发布时间相关文档AI 音视频互动使用自定义开通ASR和 TTS 模型服务时，产生的 ASR/TTS 费用独立计费，不会折算为 Tokens，不可通过 Tokens 资源包抵扣，计费由豆包语音收取。具体计费规则，请参见 豆包语音_计费说明。2025-06-012026-06-26LLM新增参数 LLMConfig.ServiceTier用于指定模型的推理方式。不同的方式决定了算力资源的分配、并发保障以及模型响应速度。仅方舟模型或第三方模型支持该字段。2025-06-012024-12-012026-06-26实时字幕新增 SubtitleMode=3（极速字幕）。字幕来源于 LLM 的原始输出，无任何内容处理，完整保留换行符等格式。适用于内容保真、需快速回调字幕的场景。2025-06-012024-12-012026-06-17TTS、LLM新增LLMConfig.AutoActive 和 TTSConfig.AutoActive 参数，实现纯 ASR 或 ASR+LLM 模式，以对 ASR、LLM、TTS 模块进行原子化组合控制。
- 2026 年 05 月
-
- 功能说明接口版本发布时间相关文档实时字幕
- StartVoiceChat 接口新增 SubtitleMode=2（音频帧对齐字幕），音频帧可携带字幕位置信息，实现逐字级精准对齐。
- 该功能与音频快速发送（Burst）功能不能同时启用。
2025-06-012024-12-012026-05-07暂停/恢复 AI 播报在 AI 进行语音播报时，您可以通过服务端 API 或客户端发送指令，随时暂停或恢复其音频播放，实现类似音乐播放器的暂停/继续效果。开启音频快速发送（Burst）功能后，该功能不生效。2025-06-012024-12-012026-05-07
- 2026 年 03 月
-
- 功能说明接口版本发布时间相关文档语音合成大模型2.0、声音复刻大模型 2.0支持字幕对齐音频时间戳（SubtitleConfig.SubtitleMode:0) ，但有以下限制：
- 直传 TTS 参数时：SubtitleMode: 0（对齐音频时间戳）与 enable_latex_tn（LaTeX 公式朗读）不可同时开启。
- 透传 TTS 参数时：SubtitleMode: 0（对齐音频时间戳）与req_params.additions.cache_config、req_params.additions.enable_latex_tn 不可同时启用。
2025-06-012024-12-012026-03-19
- 2026 年 02 月
-
- 功能说明接口版本发布时间相关文档任务用量回调通过服务端监听 VoiceChat 事件，RunStage 字段新增状态 taskUsage（表示用量统计），用量明细通过 ExtraInfo 字段返回，新旧版本用量明细不同。2025-06-012024-12-012026-02-28AI 音视频互动方案即 StartVoiceChat（2025-06-01）支持接入端到端语音识别大模型。该模型需自行开通服务，独立计费，由豆包语音收取。2025-06-012026-02-28自定义 ASR新增字段 ExtraHeader（自定义透传 Header），一个 JSON 对象，其键值对将作为额外的 HTTP Header 字段，透传到您的自定义 ASR 服务请求中，可用于鉴权或其他自定义逻辑。2025-06-012024-12-012026-02-28视觉理解SnapshotConfig 中新增 AutoSelect 开关，开启后可智能选取高清视频帧送给 LLM，解决画面移动、失焦导致的识别不准问题。2025-06-012024-12-012026-02-28
- 2026 年 01 月
-
- 功能说明接口版本发布时间相关文档联网问答 Agent支持图搜。模型开启视觉理解后，AI 可自动结合实时视频截图或外部图片进行联网检索，单次支持最多 10 张图片。2025-06-012024-12-012026-01-23VAD 打断与判停优化新增 ForceBeginThreshold 和 ForceEnd 参数，支持基于 VAD 时长的极速打断及辅助 VAD 强制判停，提升交互灵敏度。2025-06-012024-12-012026-01-23TTS 预下发控制新增 TTSConfig.Prefill 参数。支持在开启 LLM 预思考的同时单独关闭 TTS 预合成，有效降低在 ASR 中间结果修正过程中的 TTS 字符消耗成本。2025-06-012024-12-012026-01-23ASR 强制判停新增 ExpireTime 参数。在 ASR 识别到最后一段有效文字后，若系统在 SilenceTime 结束后仍未下发判停信号，将额外等待 ExpireTime 时长，若仍无信号则强制判定用户本轮说话已结束。适用于背景噪声大、环境干扰严重（导致 VAD/ASR 无法准确判断静音）的场景。2025-06-012024-12-012026-01-23远场人声抑制通过抑制距离麦克风 3-5 米以外的背景人声，解决远场场景下的 AI 误触发、误识别及判停延迟等问题。该功能适用于耳机、手机等收音效果较好的设备。
- 使用须知：
- 仅在使用火山流式语音识别大模型和火山复刻大模型时生效。
- 由于不同硬件设备的收音特性差异较大，若参数设置不当（如抑制过强），可能会导致正常用户的声音也被抑制。建议根据实际业务场景进行细致调试。
- 配置方式：
- 启动时：在 StartVoiceChat 接口的 ASRConfig 中配置 FarfieldConfig。
- 会话中：通过 UpdateVoiceChat 接口动态更新（command 为 UpdateFarfieldConfig）。
2025-06-012024-12-012026-01-13声纹降噪功能增强- 新增自定义注册声纹所需的语音时长（VoiceDuration）。
- 支持对实时注册的声纹进行验证（EnableSV）。
配置方式：两者支持通过 StartVoiceChat 接口开启和配置，也支持通过 UpdateVoiceChat 更新（command 为 UpdateVoicePrintSV）。2025-06-012024-12-012026-01-13
2025 年
- 2025 年 12 月
-
- 功能说明接口版本发布时间相关文档情绪识别与生成您可以通过指令标签（由 LLM 自动生成或业务实时注入），来控制 AI 播报的语气（如欢快、伤心）、语速和音量等。同时，可将用户问题作为上下文传递给 TTS，能让 AI 的回复情感更贴合对话场景，实现富有情感的拟人化交互。2025-06-012024-12-012025-12-31AI 音乐 Agent启用后， AI 可根据用户指令，为用户播放音乐或控制音乐播放（如：上一首、下一首、暂停播放、停止播放、继续播放等）。注意
- 仅具备 Function Calling 功能的方舟或第三方大模型支持该功能。
- 该功能目前为限时免费公测阶段。音乐来源于火山引擎内部 AI 音乐曲库，不包含有明确版权的明星歌曲。
2025-06-012024-12-012025-12-31AI 音视频互动方案2025-06-012025-12-25ASR 配置新增支持火山流式语音识别大模型 2.0。2024-12-012025-12-11Function calling支持并行函数调用。模型返回是否允许包含多个待调用的工具（对应字段 EnableParallelToolCalls），即当用户问题需要调用多个工具时，模型会一次性返回所有工具的调用指令。2024-12-012025-12-11
- 2025 年 11 月
-
- 功能说明接口版本发布时间相关文档自定义 TTS/第三方 LLM新增支持自定义数据透传：在单轮对话过程中，支持将端侧的自定义数据（如业务数据、算法检测结果等）透传给第三方 LLM 或自定义 TTS，且这些数据不会被 TTS 直接朗读。2024-12-012025-11-27更新 AI 对话任务2024-12-012025-11-27记忆库（长期记忆）新增参数 Score，即召回记忆的置信度阈值，可用于过滤与当前问题相关性较低的记忆。一次检索可能召回多条记忆，系统会为每条记忆计算一个“相关性得分”，只有得分不低于设定阈值的记忆会被采纳；低于设定阈值的记忆会被丢弃。2024-12-012025-11-22声纹降噪新增字段 EnableSV，在使用预注册声纹进行声纹降噪时，可对说话人进行声纹验证。仅当匹配成功时，才将 ASR 识别结果送入 LLM 并生成回复；否则将丢弃该段语音内容，避免非目标说话人（如背景人声）干扰对话。2024-12-012025-11-18第三方大模型/Agent新增支持 FC、联网问答 Agent、接入 MCP。2024-12-012025-11-05启动对话任务在任务启动时对 StartVoiceChat 接口的参数进行校验，并通过回调返回未定义或错误的参数信息。2024-12-012025-11-05对话任务状态回调服务端任务状态回调新增状态：llmOutput（大模型输出首个 token）、answerStart（AI 开始说话）、interrupted（ AI 被打断）、reasoningStart（大模型开始深度思考）。2024-12-012025-11-05
- 2025 年 10 月
-
- 功能说明接口版本发布时间相关文档豆包语音端到端模型新增支持豆包语音端到端模型：整合了 ASR、LLM、TTS 的全链路能力，显著降低闲聊场景的响应延迟。支持两种模式：
- 纯端到端模式：适用于纯闲聊场景，获得极致的低延迟体验。
- 混合编排模式：默认使用端到端模型进行闲聊。当识别到 Function Calling 等需要外部工具的意图时，会自动将任务交由 LLMConfig 中配置的大模型进行处理，实现意图仲裁和复杂任务执行。
2024-12-012025-10-23流式语音识别大模型火山语音合成大模型（流式输入流式输出）支持参数透传，提供了更大灵活性。2024-12-012025-10-17记忆库新增支持接入火山记忆库（VikingDB）：通过 MemoryConfig 参数，可为 AI 接入长期记忆能力，使其能够检索并利用历史对话信息，提供更具个性化和连续性的交互体验。2024-12-012025-10-17
- 2025 年 9 月
-
- 功能说明接口版本发布时间相关文档接入联网问答 Agent新增支持接入火山联网问答 Agent：让 AI 具备实时从互联网检索信息并进行总结回答的能力。例如查询最新资讯、获取天气信息、询问实时股价等。仅具备 Function calling 的火山方舟模型支持该功能。2024-12-012025-09-29接入 MCP新增支持接入 MCP，以将知识库问答（RAG）、信息搜索、数据分析等复杂能力，作为独立的工具接入到实时对话流中，扩展 AI 的能力。仅具备 Function calling 的火山方舟模型支持该功能。2024-12-012025-09-29声纹降噪新增 Score 参数，用于自定义声纹匹配阈值。只有当实时语音与注册声纹的相似度分数大于等于该阈值时，才会被识别为目标用户。具体参数参见 StartVoiceChat 中的 AgentConfig.VoicePrint.Score。2024-12-012025-09-25火山语音识别大模型新增支持双向流式优化版（StreamMode: 2），同时支持在双向流式优化版的基础上开启二遍识别，满足客户实时上屏需求（快）的同时，又可以保证识别准确率（准）。2024-12-012025-09-09Coze 平台模型新增字段 ResponseTimeout（Coze 智能体回复超时时间）。如果 Coze 智能体内部配置了复杂流程（如 MCP、插件调用），其响应时间可能会变长。此参数用于设定一个合理的等待上限，避免因智能体长时间无响应而影响用户体验。2024-12-012025-09-09
- 2025 年 8 月
-
- 功能说明接口版本发布时间相关文档AI 降噪新增 AI 降噪能力（对应字段 AgentConfig.AnsMode），对音频进行智能降噪处理，可根据实际噪声环境选择不同级别的降噪模式。2024-12-012025-08-27智能语义断句新增智能语义断句（对应字段 ASRConfig.VADConfig.AIVAD），启用后系统会结合 AI 模型对语义完整性的判断和 SilenceTime 来进行断句，能更准确地处理长句中的自然停顿。2024-12-012025-08-27声纹降噪新增声纹降噪功能，可用于提升在多人环境下的语音识别准确率。启用后，系统将识别人声并保留目标用户（TargetUserID）的声纹，同时抑制环境中的其他无关人声（旁人噪音）。声纹降噪功能目前为限时免费公测阶段，目前针对远场人声屏蔽效果较好。2024-12-012025-08-27图片理解新增支持图片理解。对话过程中，通过客户端或服务端随时向 AI 发送一张或多张图片并提问。支持多图上传、图片分片上传。2024-12-012025-08-25Coze 平台模型新增以下字段：
- CustomVariables：为 Coze 智能体 Prompt 中定义的变量 {{key}} 动态赋值。
- MetaData：为对话附加信息，比如业务标识（如订单号、用户来源等）。
- Parameters：为 Coze 对话流起始节点中定义的自定义参数赋值。
2024-12-012025-08-14第三方大模型新增字段 EnableRoundId，用于控制请求第三方模型/Agent 接口时，是否在请求体中携带字段 round_id（对话轮次 ID）。2024-12-012025-08-13
- 2025 年 7 月
-
- 功能说明接口版本发布时间说明自定义 TTS 服务2024-12-012025-07-11火山方舟大模型2024-12-012025-07-11第三方大模型2024-12-012025-07-01
- 2025 年 6 月
-
- 功能说明接口版本发布相关文档嵌入式硬件嵌入式硬件场景下，支持标识是否为 License 用户。参看字段 AgentConfig.UseLicense.2024-12-012025-06-30
- 2025 年 5 月
-
- 功能说明接口版本发布时间相关文档嵌入式硬件嵌入式硬件场景下支持音频快速发送，实现更好的抗弱网能力。参看字段 AgentConfig.Burst。2024-12-012025-05-28
- 2025 年 4 月
-
- 功能说明接口版本发布时间相关文档火山引擎语音识别大模型
- 新增支持服务热词功能，若存在部分词汇识别效果不好的情况，可考虑通过添加热词，提高该类词语的识别效果。具体参看 boosting_table_id 字段。
- 新增支持替换词功能，若存在部分词汇存在多音字的情况，可考虑通过添加替换词，提高该类词语的识别效果。具体参看 correct_table_id 字段。
2024-12-012025-04-14配置对话触发模式新增选择是否自动触发新一轮对话。参看 ASRConfig.TurnDetectionMode 字段。2024-12-012025-04-14打断 AI新增支持关键词打断，若用户说话内容开头包含任一传入打断词， AI 则立刻停止输出。参看 ASRConfig.InterruptConfig.InterruptKeywords 字段。2024-12-012025-04-14LLM 模块移除 UserMessage 字段，使用 UserPrompts 字段替换，大模型效果更稳定。2024-12-012025-04-14Coze 模型新增支持 Coze 平台模型。2024-12-012025-04-11
- 2025 年 1 月
-
- 功能说明接口版本发布时间相关文档AI 对话任务状态回调新增支持任务执行期间回调状态变化，以便你在业务端及时进行后续处理或保证业务的稳定性。2024-12-012025-01-09火山方舟平台新增支持使用视觉理解模型。2024-12-012024-06-012025-01-06
2024 年
- 2024 年 12 月
-
- 功能说明接口版本发布时间相关文档更新 AI 对话任务
- 支持传入文本信息供 TTS 音频播放。
- 支持传入自定义文本结合用户问题送入 LLM。
- 支持传入外部问题，送入 LLM。
2024-12-012024-12-31Function calling支持使用通过配置的 URL 接收 function calling 函数工具调用的信息指令。2024-12-012024-12-31实时字幕支持字幕返回无需对齐 TTS 音频时间戳。2024-12-012024-12-31AI 配置- 移除最外层 UserId，使用 TaskId 做任务标识。
- 新增 AgentConfig，支持基本配置。
- 将 LLMConfig.WelcomeSpeech移入 AgentConfig 结构下。
- 移除 Config.BotName，使用 AgentConfig.UserId 标识 AI。
2024-12-012024-12-31火山引擎语音合成大模型新增支持火山引擎双向流式语音合成2024-06-012024-12-25语音合成- 新增 ASRConfig.VolumeGain 字段，支持降低采集音量，以减少噪音引起的 ASR 错误识别。
- 新增 ASRConfig.VADConfig 字段，支持 VAD 配置。
2024-06-012024-12-25火山方舟平台模型新增 LLMConfig.prefill 字段，支持将 ASR 中间结果提前送入大模型进行处理以降低延时。2024-06-012024-12-25
- 2024 年 11 月
-
- 功能说明接口版本发布时间相关文档MiniMax 语音合成TTS 新增接入 MiniMax 服务提供商。Config.TTSConfig 结构已重构，原有结构短期内仍会支持，建议使用新结构调用实时对话式 AI 服务。2024-06-012024-11-08Function calling火山方舟平台模型新增支持 Function calling 功能，可使大模型识别用户对话中的特定需求，并调用外部函数实现天气查询、数学计算等功能。流式返回可实现逐步获取工具调用信息，更快收到 Function Calling 结果，从而提升响应效率。2024-06-012024-11-05
- 2024 年 10 月
-
- 功能说明接口版本发布时间相关文档语音合成新增支持 TTS 倍速、音量和音高调节。2024-06-012024-10-18打断 AI新增支持自动打断功能开关。2024-06-012024-10-14
- 2024 年 8 月
-
- 功能说明接口版本发布时间相关文档实时字幕新增支持房间内字幕功能2024-06-012024-08-30火山引擎语音合成大模型火山引擎声音复刻大模型新增支持大模型语音合成服务和大模型声音复刻 2.0 服务，下线大模型声音复刻 1.0 服务。2024-06-012024-08-22第三方大模型新增支持接入第三方大模型或 Agent（如 Dify Agent），以满足特定业务需求。2024-06-012024-08-22方舟平台模型下线方舟 1.0 大模型，新增支持方舟 2.0 模型。2024-06-012024-08-22
最近更新时间：2026.10.16 17:51:19
这个页面对您有帮助吗？
有用
有用
无用
无用