实时音视频
实时音视频
文档指南
请输入
- 文档首页
实时音视频硬件对话智能体用户指南初始化会话配置
复制全文
下载 pdf初始化会话配置
文档反馈
问问助手在控制台或通过 OpenAPI 配置的智能体属性为全局设置，对所有会话生效。会话配置仅对单次会话（即从连接到断开）有效，它会临时覆盖全局设置，决定智能体在本次会话中的具体行为表现（如专属欢迎语、音色、打断策略等）。若需为不同用户或场景个性化定制智能体行为，可在启动新会话前，通过客户端 API 传入会话初始参数。
支持的会话配置
支持的初始化会话配置包括：
- 音频参数：音频编码格式等。
- 基础配置：ASR、LLM、TTS 服务配置等。具体可参见更新智能体 AibotUpdate 接口中的 Config 对象。
- 智能体配置：欢迎语、打断模式、回答模式等。具体可参见更新智能体 AibotUpdate 接口中的 AgentConfig 对象。
低负载方案（WebSocket）
初始化配置包括：音频配置（input_audio_format、output_audio_format）、基础配置（config）、智能体配置（agent_config）。
其中，input_audio_format 和 output_audio_format 支持以下枚举值：
配置方式
若使用官方 SDK 接入
如果您使用官方 SDK 接入，您只需在调用启动接口时，将 session.update 序列化为 JSON 字符串，并赋值给 volc_opt_t.params，由 SDK 在启动会话时完成配置下发。调用示例如下：
volc_opt_t opt = {0};
opt.mode = VOLC_MODE_WS;
opt.bot_id = "<YOUR_BOT_ID>";
opt.params = (char*)"{\"event_id\":\"event_456\",\"type\":\"session.update\",\"session\":{\"object\":\"realtime.session\",\"input_audio_format\":\"pcm16\",\"output_audio_format\":\"pcm16\"}}";
int ret = volc_start(engine_handle, &opt);
若使用标准协议自定义接入
如果您未使用官方 SDK，而是基于 WebSocket 标准协议自定义接入，需要在 WebSocket 建连时将 Query 参数 wait_for_session_update 设置为 true。客户端需在收到 session.created 事件后，再主动发送 session.update 事件。服务端返回 session.updated 后，再开始发送音频数据。
- WebSocket 建连示例：
- wss://ai-gateway.vei.volces.com/v1/realtime?bot={bot_id}&wait_for_session_update=true
- session.update 事件示例：可参考会话初始化配置 JSON 结构参考。
会话初始化配置 JSON 结构参考
说明
初始化配置的 config 和 agent_config 参数的字段定义与 更新智能体 AibotUpdate 接口一致。其中，config 对应接口中的 Config 对象，agent_config 对应接口中的 AgentConfig 对象。
{
"event_id": "event_456",
"type": "session.update",
"session": {
"object": "realtime.session",
"config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"ApiResourceId": "volc.bigasr.sauc.duration",
"Mode": "bigmodel"
},
"VADConfig": {
"AIVAD": true
},
"TurnDetectionMode": 0
},
"LLMConfig": {
"Mode": "CozeBot",
"CozeBotConfig": {
"Url": "https://api.coze.cn",
"BotId": "75739535xxxxx478720",
"APIKey": "saXXXXXXXXRPne",
"Parameters": {
"deviceID": "xxxxxx"
}
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"ResourceId": "volc.service_type.10029",
"audio": {
"voice_type": "zh_female_yuanqinvyou_moon_bigtts"
}
}
},
"SubtitleConfig": {
"DisableRTSSubtitle": true
},
"InterruptMode": 0
},
"agent_config": {
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {
"Enable": true,
"BufferSize": 5000,
"Interval": 10
},
"AnsMode": 3
},
"input_audio_format": "g711_alaw",
"output_audio_format": "g711_alaw"
}
}
高质量方案（RTC）
高质量方案的会话初始化配置分为“引擎初始化”和“会话启动”两个阶段:
- 引擎初始化阶段：用于配置音频编解码格式。
- 会话启动阶段：用于配置会话专属的智能体行为参数。
创建引擎实例（配置音频）
config_json 结构参考
{
"ver": 1,
"iot": {
"instance_id": "******",
"product_key": "******",
"product_secret": "******",
"device_name": "device_name"
},
"rtc": {
"log_level": 3,
"audio": {
"publish": true,
"subscribe": true,
"codec": 3
},
"video": {
"publish": false,
"subscribe": false,
"codec": 1
},
"params": [
"{\"audio\":{\"codec\":{\"internal\":{\"enable\":1}}}}"
]
}
}
启动会话（配置智能体）
使用 volc_start 启动会话，在此阶段通过 volc_opt_t 结构体的 params 字段传入当前会话专属的基础配置（Config）和智能体配置（AgentConfig）。详细参数配置及说明，参见 更新智能体 AibotUpdate。
调用示例
volc_opt_t opt = {
.mode = VOLC_MODE_RTC,
.bot_id = CONFIG_VOLC_BOT_ID,
// 传入序列化后的 JSON 字符串
.params = "{\"Config\":{\"InterruptMode\":0},\"AgentConfig\":{\"AnsMode\":3}}",
};
error = volc_start(engine, &opt);
params 对应的 JSON 结构参考
{
"Config": {
"ASRConfig": {
"Provider": "volcano",
"ProviderParams": {
"ApiResourceId": "volc.bigasr.sauc.duration",
"Mode": "bigmodel"
},
"VADConfig": {
"AIVAD": true
},
"TurnDetectionMode": 0
},
"LLMConfig": {
"Mode": "CozeBot",
"CozeBotConfig": {
"Url": "https://api.coze.cn",
"BotId": "75739535xxxxx478720",
"APIKey": "saXXXXXXXXRPne",
"Parameters": {
"deviceID": "xxxxxx"
}
}
},
"TTSConfig": {
"Provider": "volcano_bidirection",
"ProviderParams": {
"ResourceId": "volc.service_type.10029",
"audio": {
"voice_type": "zh_female_yuanqinvyou_moon_bigtts"
}
}
},
"SubtitleConfig": {
"DisableRTSSubtitle": true
},
"InterruptMode": 0
},
"AgentConfig": {
"WelcomeMessage": "我是你的AI助手，有什么需要我为您效劳的吗？",
"Burst": {
"Enable": true,
"BufferSize": 1000,
"Interval": 10
},
"AnsMode": 3
}
}
最近更新时间：2026.07.19 13:25:02
这个页面对您有帮助吗？
有用
有用
无用
无用