文档中心

实时音视频

开发指南

接入端到端实时语音大模型

除了标准的 ASR+LLM+TTS 模块化方案，还支持接入“豆包端到端实时语音大模型”。该模型将“听（ASR）、想（LLM）、说（TTS）”三大环节集成于一体，实现从语音输入到语音输出的全链路处理，能够显著降低模块间的处理与传输延迟，为用户带来更流畅、更接近真人的实时对话体验。

更多端到端实时语音大模型介绍，请参见产品简介。

使用限制

启用豆包端到端实时语音大模型后，会对以下配置产生影响：

对于 ASR、TTS、LLM 配置：

纯端到端模式下：无需配置 ASRConfig、TTSConfig 和 LLMConfig，系统会忽略这些配置。

混合编排模式下：无需配置 ASRConfig 和 TTSConfig，系统会忽略这些配置。

对于字幕：在使用字幕功能时，必须将 SubtitleConfig.SubtitleMode 设置为 1（快速字幕）。

对于控制指令：通过服务端 API UpdateVoiceChat 或客户端 API sendUserBinaryMessage 发送的 ExternalPromptsForLLM 和 ExternalTextToLLM 指令不生效。

暂时不支持视觉理解能力。

接入步骤

准备工作

获取开发凭证

开通服务：前往豆包语音控制台，开通豆包端到端实时语音大模型服务，并获取 APP ID 和 Access Token。

可选（联网搜索）：若需 AI 具备实时查新闻/天气能力，需开通联网搜索 API 服务并获取 API Key。具体操作，可参见开启联网搜索。

确定工作模式

端到端实时语音大模型支持两种工作模式，分别适用于不同场景，计费方式也不同：

模式	描述	适用场景	ASR+TTS+LLM 计费
纯端到端	所有对话都由豆包端到端实时语音大模型直接处理并输出文本和音频，完全不经过 LLMConfig 中配置的大模型。	追求极致低延迟的纯闲聊场景，如 AI 陪伴、虚拟人互动。	统一按 token 计费，由豆包语音收取，具体请参见计费概述。
混合编排	每一次语音对话都会同时发送给由 LLMConfig 配置的大模型和端到端实时语音大模型。如果 LLMConfig 中的模型决策需要调用工具，则系统采用该模型的输出；否则，采用端到端模型的输出。 LLMConfig 仅支持使用火山方舟大模型。	需要兼顾闲聊的低延迟和复杂业务处理能力的场景，如智能客服、AI 游戏 NPC。	两部分费用：豆包端到端实时语音大模型产生的费用，具体请参见计费概述。 LLM 费用：以实际使用的模型为准。

模式一：纯端到端

此模式下，所有对话由端到端模型独立处理，不涉及 LLMConfig 中配置的大模型，延迟最低。

详细参数说明参见接口文档 StartVoiceChat（2025-06-01）。

S2SConfig.OutputMode：设置为 0。

S2SConfig.ProviderParams.app：填入你在准备工作中获取的 APP ID 和 Access Token。

SubtitleConfig.SubtitleMode：若需接收字幕，该字段必须设置为 1。

模式二：混合编排

此模式下，用户语音会同时送往端到端模型和 LLMConfig 中配置的火山方舟大模型。当方舟大模型决策需要调用工具（Function Calling）时，系统采纳其输出；否则，采纳端到端模型的输出。

详细参数配置及说明参见接口文档 StartVoiceChat（2025-06-01）。

S2SConfig.OutputMode: 设置为 1。

S2SConfig.ProviderParams.app：填入在准备工作中获取的 APP ID 和 Access Token。

LLMConfig：必须配置，用于处理端到端模型无法完成的复杂任务。仅支持使用火山方舟大模型。

SubtitleConfig.SubtitleMode：若需接收字幕，该字段必须设置为 1。

进阶配置

在实现基础功能后，你可以通过配置 S2SConfig.ProviderParams 对象，来深度定制 AI 的行为和声音。

详细参数说明参见接口文档 StartVoiceChat（2025-06-01）。

选择模型版本

端到端模型分为 O 系列（精品音质）和 SC 系列（侧重角色扮演与克隆），通过 dialog.extra.model 来指定。

模型版本	model 取值	特点
O2.0 版本	1.2.1.1	支持精品音色，相较于 O 版本，整体能力升级，唱歌能力增强，支持音频级热修复。
SC2.0 版本	2.2.0.0	支持声音复刻。相较于 SC 版本，在角色演绎、角色控制、音色克隆能力都做了升级，支持音频级热修复。

设置人设与对话风格

让 AI 扮演特定人设（如历史人物、动漫角色）或使用特定口吻（如专业、幽默）交流。O 版本和 SC 版本，配置字段略有不同：

O 系列：通过字段 bot_name（名字）、system_role（身份背景）、speaking_style（说话口吻）。

{
"dialog": {
"extra": {
"model": "1.2.1.1" // O2.0版本
},
"bot_name": "豆包",
"system_role": "你是一个专业的科技博主，说话幽默且犀利。",
"speaking_style": "请使用轻松、富有感染力的口吻。"
}
}

SC 系列：通过字段 character_manifest（角色详述）。

{
"dialog": {
"extra": {
"model": "2.2.0.0"
},
"character_manifest": "这里传入你的角色描述"
},
"tts": {
"speaker": "S_12****"
}
}

提升语音识别准确性（判停、二遍识别、热词与替换词）

通过在 asr.extra 中配置相关参数，可提升 ASR 识别准确率。

功能	参数
设置判停	通过 asr.extra.end_smooth_window_ms 调整用户说话停顿后，系统判定为一句话结束的时长（单位：毫秒）。
开启二遍识别	可在流式识别的基础上，对每句话进行二次精校，提升准确率。将 enable_asr_twopass 设为 true。
配置热词	如果某些词汇（比如人名、产品名等）的识别准确率较低，可在开启二遍识别后，将其作为热词传入模型，提高输入词汇的识别准确率。传入热词表：传入 boosting_table_id 或 boosting_table_name。需先在豆包语音控制台_热词管理创建热词词表，并获取热词表 ID/名称。直传热词：通过 context.hotwords 直接传入热词。注意热词功能仅在 enable_asr_twopass 为 true 时生效。
配置替换词	配置替换词对识别结果进行纠错或标准化。传入替换词词表：传入 regex_correct_table_id、regex_correct_table_name。需先在豆包语音控制台_替换词管理创建替换词词表，并获取替换词词表 ID/名称。直传替换词：通过 context.correct_words 。

配置示例

设置音色、语速和音量

语速和音量：在 tts.audio_config 中配置 speech_rate 和 loudness_rate。

注意

语速和音量控制仅 2.0 版本模型支持。

音色：在 tts.speaker 中指定。不同模型版本，支持的音色不同，详情参见端到端实时语音大模型API接入文档。

开启联网搜索

若需让 AI 能够查询实时信息（如天气、新闻、股价），可启用火山联网搜索 API。什么是联网搜索 API？

前置操作

前往联网搜索 API 控制台，开通联网搜索 API 服务。支持以下版本：

web搜索：满足多样的常规搜索需求，用户可获取所需的高质量内容。

web搜索总结版：在此基础上提供大模型内容总结，以获得提炼总结后的一段式内容，提升信息获取效率。

创建一个 API Key，并记录下 API Key 值。具体操作，请参见智能体API认证方式。

配置示例

防抢话

在端到端混合编排模式下，若遇到智能体过早打断用户（即“抢话”），可通过配置内部 VAD 参数来延长判停等待时间。以下参数需写入 S2SConfig.ProviderParams.asr.extra 中：

end_smooth_window_ms：判停平滑窗口，默认值较短。建议将其调高（例如 800 ~ 1200 毫秒），强制模型在用户停止说话更长时间后才判定为一句话结束。

SilenceTime：静音超时阈值，配合调节可进一步防打断。

最近更新时间：2026.10.10 11:59:11

这个页面对您有帮助吗？

有用

无用