文档中心

实时音视频

实践教程

降低对话延迟

AI 对话延迟通常由 ASR 判停、LLM 推理和 TTS 首包生成三个环节导致。如果您的业务存在响应迟缓的问题，可从以下几个方面排查和优化。

1. 优化 ASR 配置

ASR 环节的核心在于“如何更快更准地判断用户已经说完”。

设置合适的 VAD 判停时间

VAD（语音活动检测）用于判断用户何时结束说话。过长的判停时间会导致 AI 响应迟缓。

优化方案：适当降低 ASRConfig.VADConfig.SilenceTime。

配置示例：将 SilenceTime 设置为 600 (ms)，则当用户说话停顿超过 600 毫秒时，AI 会认为用户说话完成，开始回复播报内容。

提升打断灵敏度

在全双工对话中，AI 需要在用户插话时迅速停止播报。

优化方案：降低 InterruptConfig.InterruptSpeechDuration。

配置示例：

100 (ms)：用户持续说话 100 毫秒后，AI 就会停止输出。

0：一旦检测到用户发出包含真实语义的声音，AI 立即停止播报。

配置强制判停（嘈杂环境）

在背景噪声大、环境干扰严重的情况下，常规的 VAD 静音判停（SilenceTime）可能因无法检测到真正的静音而失效，导致 AI 长时间等待，响应延迟。

您可以通过配置 ASRConfig.ExpireTime 参数作为兜底策略。从 ASR 识别到最后一段文字起，若经过 ExpireTime 时长仍未触发静音判停（即 SilenceTime），则强制判定用户本轮说话已结束。

建议将 ExpireTime 设置为 SilenceTime 的 1.5 倍，以提供足够的缓冲时间。

2. 优化 LLM 配置

选择合适的 LLM/VLM 模型

如果你的业务场景任务复杂度不高、但对实时性要求很高，建议选择轻量级模型（如 Doubao-lite）来替代大参数模型（如Doubao-pro）。当前，更推荐使用 Doubao-seed-1.6-flash（关闭深度思考模式）。

关闭深度思考模式

部分深度思考模型（例如 doubao-seed-1.6 等）支持关闭深度思考能力。如果你接入了上述深度思考模型，我们强烈推荐你关闭深度思考模式，以减少模型推理延迟，让对话更流畅。

配置方法：将 LLMConfig.ThinkingType 设置为 disabled来关闭思考能力。

开启 Prefill 策略

你可以将 LLMConfig.Prefill 设置为 true 来开启 Prefill 策略，允许将 ASR 识别中间结果提前发送给大模型进行处理，以降低延迟。

注意

开启 Prefill 后会产生额外模型消耗。

优化 Prompt 和上下文

简化 Prompt：过于复杂或冗长的系统提示词会增加 LLM 的处理负担，延长推理时间。尽量让 Prompt 简洁、清晰、明确。

平衡上下文长度：对话历史（HistoryLength 值更大）能让 LLM 更好地理解对话背景，但同时也会增加每次请求的 token 数量，从而可能增加推理耗时。请根据业务需求，在“对话记忆能力”和“响应速度”之间找到一个平衡点。

启用在线推理（低延迟）

注意

接入内置模型时，可直接通过 ServiceTier=fast 启用低延迟推理；接入自由模型时，需由你接入的模型服务自行支持并识别 service_tier 字段。

在 LLMConfig 中设置 ServiceTier 参数为 fast，以获取更优的输出 token 生成速率（TPOT），降低延迟。

接入内置模型后，若模型有低延迟限流配额，则本次请求优先使用在线推理（低延迟）；否则会自动降级为 default 模式。使用该模式会增加成本消耗。

如何获取在线推理（低延迟）额度：若使用的是公共模型资源，请提交工单申请；若使用的是自行在火山方舟开通的模型，参见使用流程。

3. 优化 TTS 配置

选择合适的语音合成模型

火山引擎提供了语音合成、语音合成大模型、声音复刻大模型等多种 TTS 接入方案，合成速度从快到慢为：语音合成大模型 > 声音复刻大模型。

如果你对延迟要求特别高，且音色、情感色彩等要求不高，可以选择火山引擎语音合成。

优化 LLM 的 TPOT

TTS 需要持续接收文本积累到语义完整后，才会开始语音合成，以保障语音合成的情感和流畅度。因此，优化 LLM 的平均 token 生成时间（TPOT），可以显著减少 TTS 的内容等待时间，从而降低整体延迟。

4. 硬件场景专属配置

开启 Burst 策略

你可以将 AgentConfig.Burst.Enable 的值设置为 true，以开启“音频快速发送配置”。开启后，该功能可通过快速发送音频数据包，有效保障弱网环境下的传输稳定性和播报速度。

注意

Burst 策略仅在嵌入式硬件场景下支持，且嵌入式 Linux SDK 版本不低于 1.57。

编解码优化

硬件本身采集编码、解码会产生耗时，如果在链路中有缓存，耗时还会增加，从而影响整体延迟。建议外挂使用火山引擎 RTC 的 G711A 编解码库进行优化，同时至 RTC 控制台_功能配置启用硬件场景配置。

5. 增加算力保障

通过增强算力保障，可以使模型的输出耗时更稳定，提升首个 token 生成时间（TTFT）和平均 token 生成时间（TPOT），从而降低整体延迟。

使用 TPM 保障包

如果你希望对高流量业务提供资源保障，或者希望线上业务的请求延迟更低，可以使用 TPM 保障包。相比按 Token 计费，TPM 保障包的延迟更低（如 Doubao-1.5-pro 模型的TPM 保障包，TPOT（Time per Output Token）可低至 20 ms）。

注意

TPM 保障包仅支持部分模型（实际支持模型以控制台显示为准）。计费说明及如何购买，请参见 TPM保障包。

使用模型单元

如果你对线上业务的资源确定性要求较高，或者希望模型的推理延迟更低，你可以使用模型单元，它能提供专属算力，对精调后模型表现更优。

注意

模型单元支持 doubao 1.5 及之后版本的模型（实际支持模型情况以控制台显示为准）。详细说明及如何购买，请参见模型单元。

6. 配合使用安抚策略

如果使用了一些高耗时的功能，比如 Function Calling、联网检索、知识库检索等造成 AI 回复延迟偏大时，你可以使用“延时安抚”来引导客户耐心等待（如“正在为你检索哦，请稍等”），提升用户的使用体验。

具体操作，可参见传入自定义文本让 AI 播报。

最近更新时间：2026.09.21 16:24:32

这个页面对您有帮助吗？

有用

无用