实时音视频
实时音视频
文档指南
请输入
- 文档首页
实时音视频AI 音视频互动方案开发指南配置 ASR/LLM/TTS 服务配置大模型 LLM
复制全文
下载 pdf配置大模型 LLM
文档反馈
问问助手大模型服务（LLM）用于解析用户输入并生成文本回复。
注意
若通过 S2SConfig 参数启用了端到端语音模型，且为纯端到端模式（OutputMode=0）时，本文档描述的 LLMConfig 相关配置无效。关于端到端模型的配置，请参见接入端到端实时语音大模型。
火山方舟模型
快速接入
示例：
"LLMConfig": {
"Mode": "ArkV3", // 必填，固定值
"ModelName": "doubao-seed-2-0-lite-260428", // 必填，替换为所需的公共模型
"MaxTokens": 1024,
"Temperature": 0.1,
"TopP": 0.3,
"SystemMessages": [
"##人设\\n你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；\\n\\n##约束\\n始终主动、礼貌、有条理；\\n回答准确但不冗长，必要时可提供简洁总结+详细解释；\\n不清楚的任务会主动澄清，不假设、不误导。"
],
"HistoryLength": 10,
"ThinkingType": "disabled" // 建议关闭
}
即自行在火山方舟开通的模型，以下场景下使用的是自定义开通的模型资源：
- 使用的接口为 StartVoiceChat（2025-06-01） 时，需同时传入 ModelName 和 APIKey。其中，ModelName 支持填写方舟模型的 Model ID 或接入点 ID。
- 使用旧版接口 StartVoiceChat（2024-12-01） 时，应传入 EndPointId。旧版接口建议升级至 StartVoiceChat（2025-06-01）。如何升级，参见迁移至新接口。
接口 StartVoiceChat（2025-06-01） 示例：
"LLMConfig": {
"Mode": "ArkV3", // 必填，固定值
"ModelName": "ep-xxxxxxxx", // 必填，方舟模型的 Model ID 或 接入点 ID
"APIKey": "ark-xxxxxx", // 必填，替换为您的 API Key
"MaxTokens": 1024,
"Temperature": 0.1,
"TopP": 0.3,
"SystemMessages": [
"##人设\\n你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；\\n\\n##约束\\n始终主动、礼貌、有条理；\\n回答准确但不冗长，必要时可提供简洁总结+详细解释；\\n不清楚的任务会主动澄清，不假设、不误导。"
],
"HistoryLength": 10,
"ThinkingType": "disabled" // 建议关闭
}
旧版接口 StartVoiceChat（2024-12-01）示例：
"LLMConfig": {
"Mode": "ArkV3", // 必填，固定值
"EndPointId": "ep-xxxxxxxx", // 必填，方舟模型接入点 ID
"MaxTokens": 1024,
"Temperature": 0.1,
"TopP": 0.3,
"SystemMessages": [
"##人设\\n你是一个全能的超级助手，具备强大的知识库、情感理解能力和解决问题的能力。你的目标是高效、专业、友好地帮助用户完成各类任务，包括但不限于日常生活、工作安排、信息检索、学习辅导、创意写作、语言翻译和技术支持等；\\n\\n##约束\\n始终主动、礼貌、有条理；\\n回答准确但不冗长，必要时可提供简洁总结+详细解释；\\n不清楚的任务会主动澄清，不假设、不误导。"
],
"HistoryLength": 10,
"ThinkingType": "disabled" // 建议关闭
}
支持的公共模型
模型类型 | 对应的 ModelName 取值 |
Doubao 系列 |
|
进阶配置
对话上下文管理
Function Calling
该功能不支持与联网插件、知识库插件同时开启。
视觉和图片理解
配置 MCP
通过 MCP（模型上下文协议），您可以将知识库问答（RAG）、联网搜索、业务 API 调用等外部服务封装为标准化工具，让 LLM 在对话中能智能地调用它们，以获取所需的数据或执行操作，并基于返回的结果生成更准确、专业的回复。具体实现方式，请参见接入 MCP。
降低延迟（Prefill）
- 设置 Prefill: true，将 ASR 的中间结果提前送入大模型处理，可显著降低首字延迟，但会增加 Token 消耗。
- 若使用支持深度思考的模型（如 Doubao-thinking），建议将 ThinkingType 设置为 disabled 以关闭思考模式，避免回复延迟过高影响实时对话体验。
控制推理方式（ServiceTier）
通过 LLMConfig.ServiceTier 字段，可控制模型的推理方式。根据接入模式不同，分为以下两种情况：
说明
- 接入内置模型时，ServiceTier 用于控制方舟在线推理方式。不同的方式决定了算力资源的分配、并发保障以及模型响应速度。推理方式说明及对比，参见推理方式概述。
- 接入自由模型时，系统会将该值以 service_tier 字段透传到模型服务请求体中，由模型服务自行识别和处理。
- 该功能暂不支持与视觉理解能力同时启用。
第三方大模型/Agent
Coze 智能体
使用须知
- 必须将 Coze 智能体发布为 API。具体操作，参见发布智能体为 API 服务。
- 使用 Coze 智能体时不支持以下能力：视觉理解能力、Function Calling 功能、端插件能力。如需使用上述能力，可使用 Coze 服务端 + RTC SDK 方案。
快速接入
使用 Coze 平台时，StartVoiceChat.LLMConfig 结构核心配置参数如下：
{
"LLMConfig": {
"Mode": "CozeBot", // 必填，固定为 CozeBot
"CozeBotConfig": {
"Url": "https://api.coze.cn", // 必填，固定值
"BotId": "73****68", //必填，Coze 智能体 ID
"APIKey": "czu_UEE2mJn6****MHxLCVv9uQ7H", // 必填，Coze 访问密钥
"UserId": "123" // 必填，标识当前与智能体对话的用户
}
}
}
进阶配置
降低延迟
- 降低请求延迟：在输入请求地址时，可使用 https://bot-open-api.bytedance.net内网域名，时延更小更稳定。
- 降低回复延迟：设置 Prefill: true。将 ASR 的中间结果提前送入大模型处理，可显著降低首字延迟，但会增加 Token 消耗。
变量传参
支持将业务数据动态注入到 Coze 智能体的提示词或工作流中。
参数名 | 说明 |
CustomVariables | 为 Prompt 中定义的变量 {{key}} 赋值。格式为 Key-Value 对。示例：{"user_name": "Alice"}。 |
MetaData | 为对话附加信息，比如业务标识（如订单号、用户来源等），方便后续数据查询和分析。示例：{"order_id": "2024****"}。 |
Parameters | 如果在 Coze 对话流起始节点中定义了自定义变量，通过此参数赋值，Map<String, Any> 格式。示例：{"user_input": "start"}。 |
FAQ
- 如何更换大模型配置？
- 你可以通过 UpdateVoiceChat 接口更新模型的部分配置（例如 SystemMessages、Tools），具体支持的配置，请参见 UpdateVoiceChat 接口的 Parameters.Config.LLMConfig 字段。
- 其他配置则需调用 StopVoiceChat 接口停止当前对话任务，随后在 StartVoiceChat.LLMConfig 中传入新的大模型配置，并重新启动对话任务。
- 对话过程中，一分钟前生成的结果，现在再提问，AI 已经不记得之前回答结果了怎么办？
- 可适当调大 LLMConfig.HistoryLength 参数，增大上下文存储长度。
最近更新时间：2026.10.10 11:59:11
这个页面对您有帮助吗？
有用
有用
无用
无用