本文将引导您搭建一个最基础的 AI 音视频互动方案，实现与 AI 实时对话。

准备工作

（按需）若您使用的火山引擎子账户登录，请确保您的子账户拥有 RTCFullAccess 权限。可前往访问控制-用户，按照界面提示为目标用户授权。

登录实时音视频控制台。

先开通实时音视频服务。

再切换至 AI 音视频互动方案，开通该服务。开通后，系统会自动为您创建一个默认应用（如 defaultAIAgentAppName），并赠送您一定额度的免费 Tokens 资源包。

使用 AI 音视频互动方案的应用 AppId 生成 RTC 鉴权 Token。

临时测试：在 AI 音视频互动方案-应用管理，基于目标 AppId 生成临时 Token。

生产环境：必须生成正式 Token。具体方法，请参见使用 Token 完成鉴权。

集成步骤

第一步：实现音视频通话

首先，需要在你的应用中集成 RTC SDK，实现基础的音视频通话能力，为 AI 的加入创建环境。核心环节如下图所示：

快速实现

请根据您的客户端平台（iOS、Android、Web 等），集成 RTC SDK 实现音视频通话能力。

快速测试：参考跑通示例项目，快速集成一个音视频通话 Demo。

集成到应用：参考实现音视频通话。

关键配置与注意事项

订阅或发布流：推荐使用默认的自动发布/订阅音频流设置。若需手动控制订阅和发布音频流，可以在调用 joinRoom 时将 isAutoPublish 和 isAutoSubscribeAudio 设置为 false，并使用 subscribeStream 和 publishStream 手动订阅或发布音频流。

优化音质：对于移动端，若场景对音频质量有更高要求（如需要播放音乐），可调用 setAudioScenario 设置合适的音频场景，使手机音量切换为媒体音量。

静音用户：如需让用户静音，请使用 muteAudioCapture 静音麦克风以保证最低的切换延迟。不建议使用 stopAudioCapture，该操作可能会导致声音卡顿或变声。

处理 License 配额耗尽回调：自客户端 SDK 3.60.104 起，支持 License 配额耗尽回调（onLicenseQuotaExceeded（以 Android 为例））。AI 音视频互动方案使用 License 计费时，如果配额用尽，SDK 会触发该回调，AIGC 服务会中止。收到回调后，请及时续费，并让用户离开房间、销毁 SDK；续费成功后再重新加入。

第二步：发起 AI 实时对话

构建音视频通话后，调用 OpenAPI StartVoiceChat（2025-06-01），实现用户与 AI 通话。

OpenAPI 调用方法（必须签名鉴权）：如何调用 OpenAPI。

请求示例：

支持模块化方案（ASR+LLM+TTS），即将 ASR、LLM 和 TTS 作为独立模块组合；也支持直接接入豆包端到端实时语音大模型。

根据所需接入的模型服务不同，请求体配置也不同。

均使用公共火山模型
均使用自行开通的火山模型
使用第三方模型服务
端到端方案（以混合编排为例）
公共模型，即平台托管的公共模型资源。相关费用会折算为 Tokens 计费，可通过 Tokens 资源包抵扣。
AppId、RoomId：替换为生成 RTC Token 时使用的 AppId 和 RoomId。
TaskId：由您自行定义，用于唯一标识该 AI 对话任务。
AgentConfig.TargetUserId：替换为生成 RTC Token 时使用的客户端 UserId。
AgentConfig.UserId：AI 的标识 ID，由您自定义。
公共模型资源场景下，ASR 和 TTS 无需填写账号鉴权参数；LLM 传入 ModelName 即可。

{
"AppId": "YOUR_AppId",
"RoomId": "YOUR_RoomId",
"TaskId": "YOUR_TaskId",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"Mode": "bigmodel",
"Credential": {
"ApiResourceId": "volc.seedasr.sauc.duration"
},
"StreamMode": 2,
"VolcanoASRParameters": "{}"
},
"VADConfig": {},
"InterruptConfig": {}
},
"LLMConfig": {
"Mode": "ArkV3",
"ModelName": "doubao-seed-2-0-lite-260428",
"SystemMessages": [
"##人设\\n你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；\\n\\n##约束\\n始终主动、礼貌、有条理；\\n回答准确但不冗长，必要时可提供简洁总结+详细解释；\\n不清楚的任务会主动澄清，不假设、不误导。"
],
"HistoryLength": 10,
"ThinkingType": "disabled",
"VisionConfig": {
"SnapshotConfig": {},
"StorageConfig": {
"TosConfig": {}
}
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"Credential": {
"ResourceId": "seed-tts-2.0"
},
"VolcanoTTSParameters": "{\\\"req_params\\\":{\\\"speaker\\\":\\\"zh_female_vv_uranus_bigtts\\\",\\\"audio_params\\\":{\\\"speech_rate\\\":0},\\\"additions\\\":{\\\"disable_markdown_filter\\\":true}}}"
}
},
"SubtitleConfig": {},
"InterruptMode": 0,
"FunctionCallingConfig": {},
"WebSearchAgentConfig": {},
"MemoryConfig": {},
"MusicAgentConfig": {}
},
"AgentConfig": {
"TargetUserId": [
"YOUR_TARGET_USER_ID"
],
"UserId": "YOUR_AGENT_USER_ID",
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {},
"VoicePrint": {}
}
}
即自行在豆包语音或火山方舟开通的模型服务。费用独立计费，不折算为 Tokens，不可通过 Tokens 资源包抵扣。其中，ASR/TTS 费用由豆包语音收取，LLM 费用由火山方舟收取。
ASR/TTS：需先在豆包语音控制台开通所需服务，再获取 AppId、AccessToken
LLM：需先在方舟控制台开通服务，创建并获取 APIKey，并确认要使用的方舟模型 Model ID 或接入点 ID。

{
"AppId": "YOUR_AppId",
"RoomId": "YOUR_RoomId",
"TaskId": "YOUR_TaskId",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"Mode": "bigmodel",
"Credential": {
"AppId": "YOUR_ASR_APPID",
"AccessToken": "YOUR_ASR_ACCESS_TOKEN",
"ApiResourceId": "volc.seedasr.sauc.duration"
},
"StreamMode": 2,
"VolcanoASRParameters": "{}"
},
"VADConfig": {},
"InterruptConfig": {}
},
"LLMConfig": {
"Mode": "ArkV3",
"ModelName": "YOUR_MODEL_ID_OR_ENDPOINT_ID",
"APIKey": "ark-xxxxxx",
"SystemMessages": [
"##人设\\n你是一个全能的超级助手。\\n\\n##约束\\n始终主动、礼貌、有条理。"
],
"HistoryLength": 10,
"ThinkingType": "disabled",
"VisionConfig": {
"SnapshotConfig": {},
"StorageConfig": {
"TosConfig": {}
}
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"Credential": {
"AppId": "YOUR_TTS_APPID",
"Token": "YOUR_TTS_ACCESS_TOKEN",
"ResourceId": "seed-tts-2.0"
},
"VolcanoTTSParameters": "{\\\"req_params\\\":{\\\"speaker\\\":\\\"zh_female_vv_uranus_bigtts\\\",\\\"audio_params\\\":{\\\"speech_rate\\\":0},\\\"additions\\\":{\\\"disable_markdown_filter\\\":true}}}"
}
},
"SubtitleConfig": {},
"InterruptMode": 0,
"FunctionCallingConfig": {},
"WebSearchAgentConfig": {},
"MemoryConfig": {},
"MusicAgentConfig": {}
},
"AgentConfig": {
"TargetUserId": [
"YOUR_TARGET_USER_ID"
],
"UserId": "YOUR_AGENT_USER_ID",
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {},
"VoicePrint": {}
}
}
接入第三方或自研模型服务。
若接入第三方或自定义 ASR/TTS，请参见接入自定义 ASR 或 TTS。
若接入第三方或自研 LLM/Agent，请参见接入第三方大模型或 Agent。
例如，仅替换 LLM 为第三方服务时，可按如下方式配置：

{
"AppId": "YOUR_AppId",
"RoomId": "YOUR_RoomId",
"TaskId": "YOUR_TaskId",
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"Mode": "bigmodel",
"Credential": {
"ApiResourceId": "volc.seedasr.sauc.duration"
},
"StreamMode": 2,
"VolcanoASRParameters": "{}"
},
"VADConfig": {},
"InterruptConfig": {}
},
"LLMConfig": {
"Mode": "CustomLLM",
"Url": "https://api.my-custom-agent.com/v1/chat-stream",
"APIKey": "bearer-token-for-my-agent"
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"Credential": {
"ResourceId": "seed-tts-2.0"
},
"VolcanoTTSParameters": "{\\\"req_params\\\":{\\\"speaker\\\":\\\"zh_female_vv_uranus_bigtts\\\"}}"
}
},
"SubtitleConfig": {},
"InterruptMode": 0,
"FunctionCallingConfig": {},
"WebSearchAgentConfig": {},
"MemoryConfig": {},
"MusicAgentConfig": {}
},
"AgentConfig": {
"TargetUserId": [
"YOUR_TARGET_USER_ID"
],
"UserId": "YOUR_AGENT_USER_ID",
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {},
"VoicePrint": {}
}
}
除了标准的 ASR+LLM+TTS 模块化方案，还支持接入“豆包端到端实时语音大模型”，适用于需要进一步降低延迟，同时又要保留复杂任务处理能力的场景。端到端方案支持两种工作模式：纯端到端模式，以及混合编排模式（端到端模型与 LLMConfig 中配置的大模型协同工作）。以下示例以混合编排模式为例：
如仅需极致低延迟的纯闲聊场景，也可使用纯端到端模式。该模式下将 S2SConfig.OutputMode 设为 0，且无需配置 LLMConfig。详细接入方式和限制，请参见接入端到端实时语音大模型。
AppId、RoomId：替换为生成 RTC Token 时使用的 AppId 和 RoomId。
TaskId：由您自行定义，用于唯一标识该 AI 对话任务。
AgentConfig.TargetUserId：替换为生成 RTC Token 时使用的客户端 UserId。
AgentConfig.UserId：AI 的标识 ID，由您自定义。
LLMConfig：仅支持使用火山方舟模型。
S2SConfig.ProviderParams.app.appid、S2SConfig.ProviderParams.app.token：替换为豆包端到端实时语音大模型服务的 APP ID 和 Access Token。可前往豆包语音控制台开通服务后获取。
S2SConfig.ProviderParams.dialog.extra.model：替换为实际使用的端到端模型版本。支持的取值请参见接入端到端实时语音大模型。

{
"AppId": "YOUR_AppId",
"RoomId": "YOUR_ROOM_ID",
"TaskId": "YOUR_TASK_ID",
"AgentConfig": {
"TargetUserId": ["YOUR_TARGET_USER_ID"],
"UserId": "YOUR_AGENT_USER_ID",
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {},
"VoicePrint": {}
},
"Config": {
"LLMConfig": {
"Mode": "ArkV3",
"ModelName": "doubao-seed-2-0-lite-260428",
// 若接入自定义开通的方舟模型，请将 ModelName 改为对应的 Model ID 或接入点 ID，并补充 APIKey
// "ModelName": "YOUR_MODEL_ID_OR_ENDPOINT_ID",
// "APIKey": "ark-xxxxxx",
"Tools": [
{
"type": "function",
"function": {
"name": "query_weather",
"description": "查询指定城市的天气",
"parameters": {
"type": "object",
"properties": {
"city": {
"type": "string",
"description": "城市名称，例如：北京"
}
},
"required": [
"city"
]
}
}
}
],
"SystemMessages": [
"你是一个具备工具调用能力的实时语音助手。"
],
"HistoryLength": 10,
"ThinkingType": "disabled"
},
"S2SConfig": {
"Provider": "volcano",
"OutputMode": 1,
"ProviderParams": {
"app": {
"appid": "YOUR_S2S_APPID",
"token": "YOUR_S2S_TOKEN"
},
"dialog": {
"extra": {
"model": "2.2.0.0"
}
}
}
},
"SubtitleConfig": {
"SubtitleMode": 1
},
"FunctionCallingConfig": {},
"WebSearchAgentConfig": {},
"MemoryConfig": {},
"MusicAgentConfig": {}
}
}

完成上述步骤后，就能在房间内听到 AI 的欢迎语，并开始实时对话了。

第三步：结束对话，释放资源

默认情况下，若 AgentConfig.TargetUserId 用户退房，180 s 后 AI 任务会自动停止，但该 180s 内仍会计费。对话结束后，为避免不必要的资源消耗和计费，请务必执行以下操作：

调用 OpenAPI StopVoiceChat 接口结束 AI 任务。

调用客户端 API leaveRoom（以 Android 为例）使 AgentConfig.TargetUserId 用户离开房间。

调用客户端 API destroyRTCEngine（以 Android 为例）销毁 RTC 引擎实例，释放相关资源。

进阶功能

在实现了基础对话能力后，您可以探索更多高级功能来丰富用户体验，例如：

实时字幕：将对话内容实时转为文字显示。

打断 AI ：允许用户在 AI 说话时随时插话。

视觉理解：让 AI 能够“看到”并理解视频画面内容。

更多功能及实现方法，请参见进阶功能。

附录：快速生成 StartVoiceChat 请求示例

为了简化开发流程，您可以在控制台快速生成 StartVoiceChat 接口的核心配置代码。

前往AI音视频互动方案控制台-我的智能体，单击创建智能体。

按照界面提示，并按需完成各项配置后，单击右上角的保存。

回到智能体管理页面，找到您创建的智能体，单击代码示例并复制。

AppId、RoomId：替换为生成 RTC Token 时使用的 AppId 和 RoomId。

TaskId：由您自行定义，用于唯一标识该 AI 对话任务。

AgentConfig.TargetUserId：替换为生成 RTC Token 时使用的客户端 UserId。

AgentConfig.UserId：AI 的标识 ID，由您自定义。

实时音视频