文档中心

图像生成大模型

实时互动数字人API

实时互动数字人API-产品介绍

1. 产品介绍

1.1 产品名称

实时互动数字人 API

1.2 产品介绍

实时互动数字人 API（FlowAct-R1），是火山引擎研发的新一代数字人交互生成技术，面向陪聊、客服、教学等实时互动场景设计。模型可根据用户输入的单张图片 + 实时音频流（可选叠加文本动作描述），输出与人物形象高度一致的实时视频流，实现低延迟、高灵活性的数字人对话与表演。

与 OmniHuman1.5 等 "图 + 音频→离线视频" 的生成式数字人不同，实时互动数字人采用流式生成范式：客户端通过 WebSocket / RTC 持续推送音频，服务端返回声画同步的视频帧，支持 480P@25fps 实时输出。结合豆包大模型与端到端实时语音能力，可快速搭建 "看得见、听得懂、能对话" 的数字人 Agent，广泛应用于陪伴聊天、在线客服、教学互动、企业培训等场景。

1.3 产品优势

流式低延迟生成：基于流式视频生成架构，端到端首帧响应约2秒左右（不含语音对话模块），声画毫秒级同步。

极低形象创建成本：仅需一张人物图即可生成对应的数字人形象，无需录制真人视频，无需形象训练。

动作可控：支持半身、特写等多种画幅，可通过音频驱动口型与节奏，叠加文本动作描述（动作 prompt）轻度控制人物的姿态、动作与表演风格。

可深度集成：API 层提供最底层模型能力，客户可结合自有 ASR / LLM / TTS 自由编排，也可与豆包端到端实时语音组合形成完整 Agent。

注意：模型生成具有一定随机性，部分动作可能无法响应；视频时长过长后存在一定概率画面崩坏，建议结合业务场景设置会话长度策略。

1.4 效果演示

Replay

Play

00:00 / 00:00 Live

00:00

Fullscreen

Cssfullscreen

2x
1.5x
1x
0.75x
0.5x

Click and hold to drag

1.5 使用建议

形象图：建议使用清晰、正面的半身高质量真人图片，避免极端角度或人脸占比过小。

音频流：使用 16kHz PCM，保证语音清晰度；语音质量越高，口型同步越自然。

动作描述：使用推荐的动作描述提示词，提示词遵循 "清晰、不矛盾、少否定" 原则。

会话时长：单次连续会话建议结合业务设置心跳与最大时长，长时间会话建议分段或在场景空闲处重连。

2. 入参与出参说明

入参	图片 + 实时音频流 + 动作描述（选填）	说明
图片要求	必填	输入图片画幅比例应为1:1, 3:4, 4:3, 9:16, 16:9 图片格式支持 jpeg 、jpg 、png ，分辨率需在 480✖️480 以上，1920✖️1080 以内同时支持人脸表情和肢体动作驱动，真人半身图片且画面背景简单的图片驱动表现最好驱动范围：全脸+肢体，使用动作描述参数可以控制数字人动作（仅能支持部分动作）图片支持真人（半身简单背景图最佳）、动漫、常见宠物（猫狗等）的驱动；动漫与宠物可能表现不佳
音频流	必填	PCM 实时流（16kHz），通过 WebSocket 持续推送
文本动作描述	选填	使用推荐的动作描述，用于指定动作（当前仅支持部分动作类型）

出参	实时数字人视频流	说明
分辨率	480P	当前默认输出规格
帧率	25 fps	声画同步
首帧响应	约 5s	不含语音对话模块时延

3. 服务开通与计费规则

3.1 服务开通

您需要使用火山账号登录控制台，在数字人页面开通「实时互动数字人API」能力，服务开通后可参考接口文档调用

3.2 计费规则

使用服务前需先购买并发，费用如下，服务高峰期可能会遇到排队

步骤	单价	备注
1并发包月	30000元	购买前请联系商务确认资源
1并发包年	300000元	购买前请联系商务确认资源

3.3 欠费关停策略

账户可用余额不足或账户可用余额小于0被扣为负值，即为欠费。

账户欠费起2个小时内可正常使用服务。

自账户欠费起24个小时仍未能补缴所有欠费账单，视为主动放弃服务，资源将被释放且无法恢复。

最近更新时间：2026.08.07 16:57:32

这个页面对您有帮助吗？

有用

无用