You need to enable JavaScript to run this app.
文档中心
视频直播

视频直播

复制全文
下载 pdf
直播 AI 应用
AI 数字人
复制全文
下载 pdf
AI 数字人

AI 数字人是视频直播提供的虚拟主播能力,可用于创建数字人形象和音色,并支持按照预设文案直播、根据商品信息自动生成讲解内容并回复观众、将音频生成数字人口播视频,以及在真人直播中加入数字人伴播。本文介绍如何使用 AI 数字人功能。

说明

AI 数字人提供 0 元体验包,包含 5 分钟数字人训练时长、1 次音色训练、1 路开播路数、4 万字符音色合成额度和 1 小时智能体输出时长。首次使用前,请联系技术支持开通 AI 数字人功能。开通后,前往购买资源页面,在托管资源包页签下即可免费领取体验包。详见 AI 数字人计费。

使用场景

AI 数字人通常适用于以下场景:

  • 需要使用 AI 数字人作为虚拟主播进行长时间直播,减少真人持续出镜压力。
  • 需要进行数字人直播带货,让数字人按照预先准备的商品话术讲解商品。
  • 希望 AI 根据商品亮点和商品知识自动生成讲解内容,并根据观众消息生成互动回复。
  • 需要使用音频快速制作数字人口播视频。
  • 需要在真人直播过程中加入数字人伴播,并通过直播软件将伴播画面和音频推送到目标直播平台。

直播间模式选择

实际需求推荐模式选择理由
话术固定,需要数字人按照预先编写的文案播报剧本模式数字人按照您为各场景编写的讲品文案直播,不由 AI 自动生成讲解内容。内容可控,适合标准化带货、活动促销和固定口播。
已有完整商品信息,希望 AI 自动组织讲解内容并回复观众智能模式AI 根据商品亮点和商品知识生成讲解,并根据观众消息生成互动回复,可减少脚本编写和人工回复工作。
已有音频,需要生成数字人口播视频,不需要实时开播转录模式通过接口提交 WAV 或 MP3 音频并异步生成视频文件。适合先制作数字人口播视频,再用于短视频发布、录播内容制作,或在直播间中作为视频素材播放。

真人主播仍在直播,希望加入数字人协助展示商品或补充讲解

伴播模式

真人主播与数字人协同开播。伴播助手可识别真人主播语音,并根据已配置的话术素材触发数字人播报内容或播放数字人动作视频。

目前伴播助手仅支持 Windows 设备。使用伴播助手前,请安装虚拟声卡,并准备能够采集伴播助手画面和音频的直播软件。

计费说明

AI 数字人会产生数字人训练、音色训练、开播路数、音色合成和智能体输出费用。详见 AI 数字人计费。

说明

该功能仅收取 AI 数字人相关费用,不额外收取视频直播推拉流费用或转录文件存储费用。使用非默认模型时,模型服务商可能另行收费。

前提条件

  • 账号准备:已完成火山引擎账号注册和实名认证,并开通视频直播服务。
  • 功能权限:已联系技术支持,开通 AI 数字人功能权限。
  • 资源购买:已在购买资源页面购买至少一路数字人开播路数。
  • 模型凭证:如需在智能模式中使用非默认模型,请提前准备以下信息。
    • 使用豆包模型或 Gemini 模型作为讲品模型或回复模型时,准备模型名称和 API Key。
    • 使用百度数字模型制作数字人形象时,准备 Access Key、Secret Key 和 User Key。
  • 数字人形象:系统提供默认数字人形象。如需使用自有主播形象或品牌角色,请准备数字人训练视频。具体要求和拍摄方法见创建数字人形象。
  • 数字人音色:系统提供默认音色。如需在剧本模式或智能模式中使用自定义音色,且未在创建数字人形象时同步创建音色,请准备符合要求的音频。具体要求见创建音色。
  • 商品信息:已准备需要添加到直播间的商品信息。具体要求见创建商品。
  • 直播间装修素材:如需在剧本模式或智能模式的直播画面中添加背景、图片、视频或音频,请按需准备以下素材。
    • 图片:不超过 10 MB 的 PNG、JPG 或 WEBP 格式图片。
    • 视频:不超过 200 MB 的 MP4 或 WEBM 格式视频。
    • 音频:不超过 200 MB 的 MP3 格式音频。

    说明

    • 仅剧本模式和智能模式支持直播间装修。
    • 剧本模式仅支持使用图片和视频素材。
  • 场景视频素材:如需在剧本模式、转录模式或伴播模式中,在讲解某个商品场景时播放预先制作的视频,请准备无透明通道、编码格式为 H.264 的 MP4 视频。视频宽高比为 9:16,分辨率为 1080P,文件大小不超过 700 MB。

    说明

    智能模式不支持使用视频素材作为场景。

  • 转录模式:如需使用转录模式,请准备一段 WAV 或 MP3 音频的 Base64 编码,或可公开访问的 WAV 或 MP3 音频 URL。建议音频时长不超过 3 分钟。
  • 伴播模式:如需使用伴播模式,请完成以下准备。
    • 设备要求
      • 内存:至少 16 GB(低于此配置可能导致流卡顿或崩溃)。
      • 显卡:GTX 1080/RTX 2070/RTX 3060 或更高。
      • 处理器:Intel i9、Intel i7-9700K 或 AMD Ryzen 5 3600X 及以上。
    • 获取调用数字人接口的 API 访问密钥。获取方式详见获取子账号的 API 访问密钥。
    • 获取豆包语音 API Key。详见获取 API Key。
    • 下载并安装 VB-Audio Virtual Cable 虚拟声卡。虚拟声卡用于将伴播助手输出的数字人声音传入直播软件,使直播软件能够采集并推送该声音。操作如下所示:
      1. 联系技术支持获取并下载虚拟声卡安装包。
      2. 右键单击 VBCABLE_Setup_x64.exe,选择以管理员身份运行。
      3. 单击 Install Driver。
      4. 如安装程序提示重启电脑,请完成重启。
      5. 进入设置 > 系统 > 声音,确认输出设备中存在 CABLE Input,输入设备中存在 CABLE Output。
    • 下载并安装伴播助手(Live Partner)以及能够采集伴播助手画面和音频的直播软件,例如抖音直播伴侣。请联系技术支持获取伴播助手安装包。

      注意

      目前伴播助手仅支持 Windows 设备。

操作步骤

  1. 登录视频直播控制台。
  2. 在左侧导航栏,选择 AI 数字人,进入视频直播数字人页面。
    Image
  3. 单击立即开通,开通 AI 数字人服务,并按照以下步骤完成配置。
    Image

步骤一(可选):配置模型

系统已为以下模型配置默认模型,使用默认模型时无需执行本步骤。相关配置仅适用于智能模式。

模型用途说明
讲品模型根据商品信息生成商品讲解内容。支持默认模型、豆包模型和 Gemini 模型。
回复模型根据观众消息生成互动回复内容。支持默认模型、豆包模型和 Gemini 模型。
语音 TTS 模型TTS(Text-to-Speech,文本转语音)用于使用所选音色将文本转换为语音音频。当前仅支持默认模型,无需配置。
数字人模型根据训练视频制作数字人形象。支持默认模型和百度数字模型。

如需更换默认的讲品模型、回复模型或数字人模型,请按照以下步骤配置。

  1. 在左侧导航栏,选择 模型配置。
  2. 找到需要调整的模型卡片,单击卡片底部显示的当前模型名称,例如默认模型。
    Image
  3. 选择需要使用的模型,并根据模型类型完成配置:
    • 讲品模型:
      • 使用默认模型时,无需填写其他信息。
      • 使用豆包模型时,填写模型名称和 API Key,推荐使用 pro 系列模型。
      • 使用 Gemini 模型时,填写模型名称和 API Key,推荐使用 pro 或 flash 系列模型。
    • 回复模型:
      • 使用默认模型时,无需填写其他信息。
      • 使用豆包模型时,填写模型名称和 API Key,推荐使用 mini 系列模型。
      • 使用 Gemini 模型时,填写模型名称和 API Key,推荐使用 flash 系列模型。
    • 数字人模型:
      • 使用默认模型时,无需填写其他信息。
      • 使用百度数字模型时,填写 Access Key、Secret Key 和 User Key。
    • 语音 TTS 模型:当前仅支持默认模型,无需配置。
  4. 单击保存。

注意

百度数字模型的凭证(Access Key、Secret Key 和 User Key)与使用该模型创建的数字人关联。例如,使用第一套凭证创建数字人 A 后,如果将百度数字模型改为另一套凭证,数字人 A 将无法在智能模式直播间中选择。使用默认模型创建的数字人不受影响。修改凭证前,请确认不再需要在智能模式中使用原凭证创建的数字人。

步骤二(可选):创建数字人形象

系统提供默认数字人形象,您可以直接在创建直播间时选择。如需使用自有主播形象或品牌角色,请按照本步骤创建数字人形象,供直播间选择。

  1. 在左侧导航栏,选择数字人&音色 > 数字人管理。
  2. 单击创建数字人并完成以下配置。
    Image
    配置项说明
    数字人名称长度为 1-26 个字符。支持中文、英文、日语、韩语、西班牙语、巴西葡萄牙语、印尼语、泰语和马来西亚语文字,以及数字(0-9)、句点(.)、下划线(_)、连字符(-)和空格,但空格不能位于首尾。
    数字人模型选择选择默认模型或自定义模型。如需选择自定义模型,请先按照步骤一:配置模型配置百度数字模型。

    数字人视频素材

    按需上传 1-120 个 MP4 视频。每个视频必须为 1080 × 1920 分辨率,时长不少于 5 分钟且不超过 40 分钟,文件大小不超过 2 GB。上传多个视频时,所有视频中的人脸必须保持一致。

    • 整场直播不需要切换数字人出镜画面时,上传 1 个视频创建单底板数字人。
    • 整场直播需要根据商品或场景切换不同数字人出镜画面时,上传多个视频创建多底板数字人,每个视频对应一个底板。

    录制数字人视频素材时,遵循以下要求:

    • 建议
      • 人物可以坐着,也可以边走动边展示商品。
      • 加入触摸布料、查看手机等自然动作,使画面更接近真实直播。
      • 表现得像在真实介绍商品。
      • 使用绿幕、纯色或整洁干净的背景。
      • 保持光线均匀、无闪烁,录制过程中不要改变光线,避免脸部出现过多阴影。
      • 如不确定如何拍摄,请提交工单获取帮助。
    • 避免:
      • 遮挡嘴部。
      • 向后转头或露出过多侧脸,以免影响嘴部动作生成。
      • 做指向、比数字等带有明确方向的动作。
      • 过快或过于频繁地移动。
      • 朗读过于严肃、缺少自然表达的文章。
      • 使用昏暗或杂乱的背景。

    同步创建音色

    是否在创建数字人形象的同时,同步创建音色。开启后,系统使用第一个视频素材的音轨训练音色,无需再单独创建音色。

    为提高音色制作效果,建议第一个视频素材在安静环境中录制,保持只有一人发声、语速自然、发音清晰,并避免背景噪声、回声和电流声。

  3. 单击开始制作。等待系统完成数字人制作。完成后,您可以单击数字人形象修改数字人名称或查看数字人视频素材,也可以将鼠标悬浮至数字人形象上并单击右下角的更多(...)图标删除数字人形象,但正在训练中的数字人或仍用于尚未关播直播间的数字人无法删除。

    说明

    您可以在页面右上方查看数字人训练时长资源包的已用时长和剩余时长。仅制作成功的数字人计入训练时长。使用默认模型制作数字人时,系统优先抵扣资源包额度,额度用尽后,按后付费方式计费。

步骤三(可选):创建音色

系统提供默认音色,您可以直接在创建剧本模式或智能模式直播间时选择。如需使用自定义音色,且未在创建数字人形象时同步创建音色,请按照本步骤创建。

  1. 在左侧导航栏,选择数字人&音色 > 音色管理。
  2. 单击创建音色。
  3. 完成以下配置。
    Image
    配置项说明
    音色名称长度为 1-50 个字符。支持中文、英文、日语、韩语、西班牙语、巴西葡萄牙语、印尼语、泰语和马来西亚语文字,以及数字(0-9)、句点(.)、下划线(_)、连字符(-)和空格,但空格不能位于首尾。
    音色头像建议上传宽高比为 1:1 的 JPG 或 PNG 图片,文件大小不超过 2 MB。

    音色素材

    上传 WAV、MP3、MP4 或 MOV 文件。素材时长大于 10 秒且不超过 5 分钟,采样率不低于 24 kHz,位深为 16 bit,文件大小不超过 500 MB。

    为提高音色制作效果,建议在安静环境中录制,保持只有一人发声、语速自然、发音清晰,并避免背景噪声、回声和电流声。

  4. 单击开始制作。等待系统完成音色制作。完成后,您可以单击音色头像试听音色效果,或单击右上方的更多(...)图标下载或删除音色,但正在制作中的音色或仍用于尚未关播直播间的音色无法删除。

    说明

    您可以在页面右上方查看音色训练资源包的已用次数和剩余次数。音色制作成功后,系统优先抵扣资源包额度,额度用尽后,按后付费方式计费。

步骤四:创建商品

创建直播售卖的商品。

  1. 在左侧导航栏,选择商品管理。
  2. 按需选择以下任一方式创建商品。
    Image
    • 智能创建
      1. 单击智能创建,进入智能创建商品页面。
        Image
      2. 上传商品详情图或输入商品描述,或同时提供商品详情图和描述。单次最多上传 20 张 JPG 或 PNG 图片,单个文件不超过 20 MB。
      3. 发送给 AI 进行分析。AI 会先提取图片中的信息,再结合输入的商品描述,自动填写商品名称、主图、价格、目录、简介、详情、亮点等字段。
        Image
      4. 等待任务完成后,检查并按需修改 AI 填写的商品信息。内容无误后,单击右上方的创建商品。
        商品出现在商品列表中,即表示创建成功。
    • 手动创建
      1. 单击手动创建。
      2. 在创建商品页面,完成以下配置并单击创建。
        Image
        配置项说明
        商品名称输入商品名称,最多 50 个字符,其中可以包含空格和符号。
        商品图上传一张或多张 JPG 或 PNG 图片。默认将第一张图片设为主图,您也可以单击其他图片切换主图。建议宽高比为 1:1,单张图片不超过 2 MB。
        商品价格输入商品价格,单位为元。仅支持数字,最多支持小数点后两位,且不能为负数。
        商品目录选择商品的一级目录和二级目录。
        商品简介输入商品简介,最多 50,000 个字符。
        商品详情输入商品详情,最多 50,000 个字符,支持 Markdown 语法。
        商品亮点按需添加一个或多个商品亮点。每个亮点的亮点概要和详细介绍分别最多 50,000 个字符。
    • 批量导入
      1. 单击批量导入。
        Image
      2. 单击下载商品模板,并按照模板填写商品信息。
      3. 上传填写完成的 XLSX 文件。文件大小不超过 100 MB。
      4. 单击导入。

    说明

    如果部分商品导入失败,系统仍会导入校验通过的商品。

  3. (可选)商品创建完成后,您可以:
    • 根据商品名称模糊搜索指定商品。
    • 按需编辑、复制、删除指定商品。
    • 单击批量管理,选中多个商品并选择批量删除,批量删除选中的商品。

    注意

    仍用于尚未关播直播间的商品无法删除。

步骤五(可选):创建直播间装修素材

如需装修剧本模式或智能模式直播间,请按照本步骤上传素材。剧本模式可使用图片和视频,智能模式可使用图片、视频和音频。

  1. 在左侧导航栏,选择素材管理。
  2. 单击上传素材。
    Image
  3. 选择素材并完成上传。支持的格式和大小如下所示。
    素材类型格式和大小
    图片PNG、JPG 或 WEBP,不超过 10 MB。
    视频MP4 或 WEBM,不超过 200 MB。
    音频MP3,不超过 200 MB。
  4. (可选)素材上传完成后,您可以:
    • 单击页面右上方的全部、图片、视频、音频筛选不同类型的素材,或根据素材名称模糊搜索指定素材。
    • 查看素材大小、分辨率、时长信息。
    • 单击预览素材。
    • 修改素材名称。
    • 删除素材。

步骤六:创建直播间

  1. 在左侧导航栏,选择直播间管理。
  2. 单击创建直播间。
  3. 在创建直播间页面,完成以下配置并单击创建。
    Image
    配置项说明
    直播间名称长度为 1-50 个字符。支持中文、英文、日语、韩语、西班牙语、巴西葡萄牙语、印尼语、泰语和马来西亚语文字,以及数字(0-9)、句点(.)、下划线(_)、连字符(-)和空格,但空格不能位于首尾。
    直播模式按需选择直播模式。各模式的使用场景见直播间模式选择。

    直播语言

    选择数字人使用的语言。支持选择中文、英文、日文、韩语、马来西亚语和泰语。

    说明

    转录模式以传入的音频语言为准。

    数字人形象

    选择数字人形象。

    说明

    • 如果已在模型配置中选择百度数字模型,则智能模式除支持选择默认模型创建的数字人外,还支持选择当前百度数字模型创建的数字人。
    • 如果整场直播需要根据商品或场景切换不同数字人出镜画面,请选择多底板数字人形象。

    数字人音色

    选择剧本模式或智能模式时,需选择数字人音色。

    为获得更好的语音效果,建议选择与数字人直播语言匹配的音色。

    说明

    • 转录模式的数字人音色,以接口传入的音频为准。
    • 伴播模式的数字人音色,以伴播助手选择的音色或控制台创建的直播间中设置的音色 ID 为准。
  4. 配置各模式直播间。详见步骤七:配置直播间。
  5. 返回直播间管理页面,按需执行以下操作。
    • 查看开播路数、合流时长和语音合成字符数的已用量和剩余量。
      • 开播路数:同一时间处于直播中状态的直播间数量不能超过已购买的开播路数。例如,购买 1 路后,可以先关闭直播间 A,再开启直播间 B,但不能同时开启直播间 A 和直播间 B。
      • 合流时长:数字人持续合成并输出画面和音频的实际时长,即智能体输出时长,单位为分钟。系统优先抵扣资源包额度,额度用尽后,按后付费方式计费。
      • 语音合成字符数:使用默认模型将讲解文本转换为语音时产生的音色合成用量。单位为万字符。系统优先抵扣资源包额度,额度用尽后,按后付费方式计费。
    • 通过直播间状态或直播间名称筛选直播间。直播间名称支持模糊搜索。
    • 单击直播中状态直播间的预览图标,检查实际输出的直播画面。
    • 单击复制图标,使用当前直播间的配置创建一个新的直播间。
    • 单击详情图标,查看或复制直播间 ID、脚本 ID 和任务 ID。
    • 单击删除图标,并确认删除。
    • 单击开播或关播,开始或停止直播。

步骤七:配置直播间

创建直播间后,您可以根据所选直播模式配置直播间。

剧本模式直播间

适用于话术固定、需要数字人按照预先编写的文案播报的直播。

Image

  1. 单击添加商品。在弹出的添加商品页面,选择直播售卖的商品,单击确定,进入直播间页面,如下图所示。
    Image

    说明

    每个直播间最多支持添加 100 个商品。

  2. 在左侧商品列表中,您可以:
    • 单击添加商品,添加商品到直播间。
    • 输入商品名称,模糊搜索商品。
    • 拖动商品,调整商品的讲解顺序。
    • 单击删除图标,从当前直播间移除不需要的商品。
  3. 每个商品默认包含一个场景,每个场景对应直播中的一段画面及其讲品文案。讲解同一商品时,如需在数字人讲解和商品演示视频之间切换,或在不同讲解环节使用多底板数字人的不同底板,可通过以下步骤添加更多场景。每个商品最多支持添加 10 个场景。
    1. 在商品列表中选择指定商品。
    2. 单击商品场景页签下的添加(+)图标。
    3. 在弹出的添加场景对话框中,完成以下配置并单击添加。
      配置项说明
      场景名称输入 1-50 个字符。

      场景类型

      选择数字人形象或视频素材。

      • 数字人形象:适用于展示不同底板数字人画面的场景。选择当前场景使用的底板。
      • 视频素材:适用于播放视频的场景。上传的视频需符合以下要求:
        • 无透明通道、编码格式为 H.264 的 MP4 视频。
        • 视频宽高比为 9:16,分辨率为 1080P。
        • 文件大小不超过 700 MB。

      说明

      场景类型不支持修改,如需更换请新建场景。

    添加多个场景后,您可以拖动调整同一商品下各场景的讲解顺序,或者单击场景的更多(...)图标,编辑场景名称或删除场景。

    说明

    如选择多底板数字人形象,每个商品会默认使用多底板数字人的第一个底板。您可以单击场景的更多(...)图标,更换适合当前商品场景的底板。

  4. 在每个商品的每个场景页签下,输入不超过 12,000 字符的商品讲解内容,即讲品文案。您可以在页面右下方查看文案的预估讲解时长,也可以单击试听数字人音色。直播期间,数字人会根据商品和场景顺序,为每个商品场景按照讲品文案播报,您在文案中输入的内容就是数字人的实际讲解内容。
    为保证直播效果,建议讲品文案符合以下规则:
    • 以准确、完整的商品信息为依据,不要编造商品规格、认证、价格、优惠、库存或效果。
    • 使用自然、易于口头表达的句子,结合使用场景、用户需求和商品卖点说明商品价值,并可根据讲解内容自然加入引导购买用语。避免像说明书一样集中罗列参数、大段重复相同内容,或反复使用相同的句式和引导购买表述。
    • 建议与直播间语言保持一致。
    • 开播前,请逐项核对商品规格、价格和优惠等内容,并根据实际情况修改。
  5. 如需装修直播间,单击指定商品场景的直播间装修页签,并完成以下操作。
    1. 单击图片或视频素材,将其添加到直播间画面。您也可以将鼠标悬浮在图片上,并单击右下方的设为背景图标,将图片设为直播间背景。

      说明

      您也可以单击上传,上传图片或视频素材。上传后的素材会同步到素材管理页面。

    2. 拖动调整数字人画面、添加的图片或视频素材的位置或大小。为避免直播间边缘可能被平台 UI(如直播间的顶部标题栏、底部互动栏)遮挡,您可以单击安全区,将需要完整展示的数字人画面、图片或视频素材放置于安全区域内。
    3. 在页面右侧,您也可以选择除背景外的图层,设置各图层的位置坐标、宽高、对齐方式,并拖动调整各图层的展示顺序。
    4. 完成该场景的直播间装修后,如需将该装修效果复用到该直播间的其他场景,您可以单击一键复制,在弹出的对话框中选择指定场景,单击确定复制即可。系统会将当前场景的各图层配置复制到所选场景,并覆盖所选场景原有的直播间装修。
  6. (可选)单击页面顶部的数字人形象或音色图标,可更换当前直播间使用的数字人形象或音色。
  7. 单击页面右上方的房间设置,完成以下配置并单击确认。
    配置项说明
    启用海外转推能力是否开启海外转推。如需将数字人直播流推送至海外,可打开该开关。

    推流地址

    系统默认提供一个有效期为 30 天的 RTMP 推流地址。该地址已开启 URL 鉴权并包含鉴权信息,可以直接使用,也可以替换为自定义地址。

    • 如需替换为视频直播推流地址:先添加域名,再通过地址生成器生成推流地址。详见地址生成器。
    • 如需替换为第三方平台地址,即来自其他云厂商,或抖音等直播平台的地址:查看对应官网文档或联系官方客服获取有效的推流地址。

    拉流地址

    系统默认展示一个不带鉴权信息的 FLV 拉流地址。

    如需使用其他协议的拉流地址,可根据 FLV 拉流地址中的域名、AppName 和 StreamName,参考生成直播地址最佳实践拼接不带鉴权信息的其他协议拉流地址。

    说明

    如果您将系统自动生成的 RTMP 推流地址替换为视频直播推流地址,则需使用与推流域名相同域名空间下的拉流域名,以及与推流地址相同的 AppName 和 StreamName,通过地址生成器生成拉流地址。详见地址生成器。

    语言更新直播语言。建议与讲品文案语言保持一致。
    语速设置数字人播报语速。取值范围为 0.5-2.0。
  8. 单击保存剧本,保存直播间配置信息。
  9. 单击开始直播。直播间状态变为直播中后,您可通过对应的拉流地址拉取直播流。
  10. 需要结束直播时,单击直播间页面右上方的关播或直播间管理页面该直播间的关播。

智能模式直播间

适用于商品信息完整、希望由 AI 自动生成讲解内容并根据观众消息生成互动回复的直播。

Image

  1. 单击添加商品。在弹出的添加商品页面,选择直播售卖的商品,单击确定,进入直播间页面,如下图所示。
    Image

    说明

    每个直播间最多支持添加 100 个商品。

  2. 在左侧商品列表中,您可以:
    • 单击添加商品,添加商品到直播间。
    • 输入商品名称,模糊搜索商品。
    • 拖动商品,调整商品的讲解顺序。
    • 单击删除图标,从当前直播间移除不需要的商品。
  3. 系统会自动解析每个已添加商品的亮点概要和商品知识,并根据商品亮点自动创建商品场景,每个场景关联一个亮点。您可以检查并修改自动生成的亮点概要和商品知识。
    • 亮点概要:总结当前亮点需要介绍的内容,最多支持 50,000 个字符。
    • 商品知识:说明如何介绍当前亮点,可包含商品核心信息、使用场景和相关优惠等内容,最多支持 50,000 个字符。
      如需补充 AI 未提取的商品亮点,可通过以下步骤添加更多场景。每个商品最多支持添加 10 个场景。
    1. 在商品列表中选择指定商品。
    2. 单击商品场景页签下的添加(+)图标。
    3. 在弹出的添加场景对话框中,完成以下配置并单击添加。
      配置项说明
      场景名称输入 1-50 个字符。
      场景类型仅支持选择数字人形象。如选择多底板数字人,此处可按需选择合适的数字人底板。
    您可以拖动调整同一商品下各场景的讲解顺序,或者单击场景的更多(...)图标,编辑场景名称或删除场景。

    说明

    如选择多底板数字人形象,每个商品会默认使用多底板数字人的第一个底板。您可以单击场景的更多(...)图标,更换适合当前商品场景的底板。

  4. 如需装修直播间,单击指定商品场景的直播间装修页签,并完成以下操作。
    1. 单击图片、视频或音频素材,将其添加到直播间画面。您也可以将鼠标悬浮在图片上,并单击右下方的设为背景图标,将图片设为直播间背景。

      说明

      您也可以单击上传,上传图片、视频或音频素材。上传后的素材会同步到素材管理页面。

    2. 拖动调整数字人画面、添加的图片或视频素材的位置或大小。为避免直播间边缘可能被平台 UI(如直播间的顶部标题栏、底部互动栏)遮挡,您可以单击安全区,将需要完整展示的数字人画面、图片或视频素材放置于安全区域内。
    3. 在页面右侧,您也可以选择除背景外的图层,设置各图层的位置坐标、宽高、对齐方式,并拖动调整各图层的展示顺序。
      其中,
      • 音频素材仅支持试听以及调整音频音量。音量默认为 100%,取值范围为 0%-200%。
      • 视频素材还支持选择是否展示视频画面,是否播放音频以及音频音量。音量默认为 100%,取值范围为 0%-200%。例如,打开展示视频画面开关但关闭是否播放音频开关,则仅无声的视频画面会展示在直播间。
    4. 完成该场景的直播间装修后,如需将该装修效果复用到该直播间的其他场景,您可以单击一键复制,在弹出的对话框中选择指定场景,单击确定复制即可。系统会将当前场景的各图层配置复制到所选场景,并覆盖所选场景原有的直播间装修。
  5. (可选)单击页面顶部的数字人形象或音色图标,可更换当前直播间使用的数字人形象或音色。
  6. 单击页面右上方的房间设置,完成以下配置并单击确认。
    配置项说明
    启用海外转推能力是否开启海外转推。如需将数字人直播流推送至海外,可打开该开关。

    推流地址

    系统默认提供一个有效期为 30 天的 RTMP 推流地址。该地址已开启 URL 鉴权并包含鉴权信息,可以直接使用,也可以替换为自定义地址。

    • 如需替换为视频直播推流地址:先添加域名,再通过地址生成器生成推流地址。详见地址生成器。
    • 如需替换为第三方平台地址,即来自其他云厂商,或抖音等直播平台的地址:查看对应官网文档或联系官方客服获取有效的推流地址。

    拉流地址

    系统默认展示一个不带鉴权信息的 FLV 拉流地址。

    如需使用其他协议的拉流地址,可根据 FLV 拉流地址中的域名、AppName 和 StreamName,参考生成直播地址最佳实践拼接不带鉴权信息的其他协议拉流地址。

    说明

    如果您将系统自动生成的 RTMP 推流地址替换为视频直播推流地址,则需使用与推流域名相同域名空间下的拉流域名,以及与推流地址相同的 AppName 和 StreamName,通过地址生成器生成拉流地址。详见地址生成器。

    语言更新直播语言。建议与亮点概要和商品知识的语言保持一致。
  7. 单击保存剧本,保存直播间配置信息。
  8. 单击开始直播。直播间状态变为直播中后,您可通过对应的拉流地址拉取直播流。
  9. (可选)开始直播后,您可在直播间管理页面点击进入智能模式直播间,在左侧讲解脚本查看数字人基于商品信息和观众消息自动生成的讲解及回复内容。
  10. 需要结束直播时,单击直播间页面右上方的关播或直播间管理页面该直播间的关播。

转录模式直播间

适用于根据音频生成数字人口播视频,不用于实时直播的场景。生成的视频可用于短视频发布、录播内容制作,或在直播间中作为视频素材播放。您需先在控制台创建转录模式直播间并配置场景,再调用接口提交音频、查询任务并获取生成的视频。

Image

  1. 单击添加商品。在弹出的添加商品页面,选择直播售卖的商品,单击确定,进入直播间页面,如下图所示。
    Image

    说明

    每个直播间最多支持添加 100 个商品。

  2. 在左侧商品列表中,您可以:
    • 单击添加商品,添加商品到直播间。
    • 输入商品名称,模糊搜索商品。
    • 拖动商品,调整商品的讲解顺序。
    • 单击删除图标,从当前直播间移除不需要的商品。
  3. 为每个商品添加场景,用于指定生成视频的画面。每个商品最多支持添加 10 个场景。
    1. 在商品列表中选择指定商品。
    2. 单击商品场景页签下的添加(+)图标。
    3. 在弹出的添加场景对话框中,完成以下配置并单击添加。
      配置项说明
      场景名称输入 1-50 个字符。

      场景类型

      选择数字人形象或视频素材。

      • 数字人形象:适用于生成视频中需要展示数字人口播画面的场景。使用多底板数字人时,选择当前场景使用的底板。
      • 视频素材:适用于生成视频中需要展示视频素材画面的场景。上传的视频需符合以下要求:
        • 无透明通道、编码格式为 H.264 的 MP4 视频。
        • 视频宽高比为 9:16,分辨率为 1080P。
        • 文件大小不超过 700 MB。

      说明

      场景类型不支持修改,如需更换请新建场景。

    您可以拖动调整同一商品下各场景的讲解顺序,或者单击场景的更多(...)图标,编辑场景名称或删除场景。
  4. 转录模式按场景标识定位分镜。确保同一直播间内每个场景的场景标识唯一,您可以单击随机生成创建场景标识。
  5. (可选)单击页面顶部的数字人形象,可更换当前直播间使用的数字人形象。
  6. 单击保存配置,保存直播间配置信息。
  7. 单击开始直播,并等待直播间状态变为直播中。该操作仅用于调用接口生成数字人口播视频,不会实时直播。
  8. 调用 CreateMediaRecordAsyncTask,根据提交的音频创建异步视频生成任务,并保存返回的任务 ID。
  9. 调用 QueryMediaRecordAsyncTask,根据任务 ID 获取生成的数字人口播视频链接。
  10. 生成视频后,单击直播间页面右上方的关播或直播间管理页面该直播间的关播,释放直播间资源。

伴播模式直播间

适用于真人主播仍在直播,由数字人协助展示商品和补充讲解的场景。

您需先创建伴播模式直播间并使其状态变为直播中,再结合伴播助手和直播软件使用。直播间既可以在视频直播控制台中创建,也可以在伴播助手中创建。

  • 伴播助手通过 ASR 识别真人主播的语音,用于匹配话术触发短语。命中已配置的话术后,伴播助手会触发数字人口播,或播放对应的数字人动作视频。
  • 直播软件采集伴播助手输出的数字人画面和声音。如需在最终直播中保留真人主播画面或声音,直播软件也可以采集对应的视频或音频信号,并将合成后的直播画面和声音推送至目标直播平台。

步骤一:伴播助手初始配置
  1. 打开伴播助手。
  2. 单击左下方的设置,完成以下配置并单击保存全部配置。
    • 左侧单击服务接入,在火山直播服务区域,配置以下信息。
      配置项说明
      服务 Host火山引擎视频直播 API 的请求域名。固定取值为 live.volcengineapi.com。
      Service参与请求签名的服务名称。固定取值为 live。
      Region服务所在区域,用于构造签名。固定取值为 cn-north-1。
      Access Key填写调用数字人接口的 API 访问密钥,即 Access Key ID。
      Secret Key填写调用数字人接口的 API 访问密钥,即 Secret Access Key。
    • 左侧单击语音识别。ASR(Automatic Speech Recognition,自动语音识别)用于识别真人主播的语音内容,以便匹配话术的触发短语。打开启用豆包 ASR 开关,并在 ASR API Key 中填写您获取的豆包语音 API Key。
    • 左侧单击媒体链路,并完成以下配置。
      • 在已检测设备区域,单击注册摄像头,确认列表中出现可供直播软件采集的虚拟摄像头,例如 OBS Virtual Camera。如果列表中未显示该设备,单击刷新查看。
      • 打开输出数字人声音开关,在虚拟声卡播放端选择已安装的虚拟音频设备,即 CABLE Input (VB-Audio Virtual Cable)。
        除上述配置外,其他配置项保持客户端默认值。

步骤二:配置直播间

伴播模式直播间必须在开播后,才能在伴播助手中关联。以下两种创建方式任选其一。无论选择哪种方式,都需要等待直播间状态变为直播中,再继续配置伴播助手。

视频直播控制台配置直播间

Image

  1. 单击添加商品。在弹出的添加商品页面,选择直播售卖的商品,单击确定,进入直播间页面,如下图所示。
    Image

    说明

    每个直播间最多支持添加 100 个商品。

  2. 在左侧商品列表中,您可以:
    • 单击添加商品,添加商品到直播间。
    • 输入商品名称,模糊搜索商品。
    • 拖动商品,调整商品的讲解顺序。
    • 单击删除图标,从当前直播间移除不需要的商品。
  3. 为每个商品添加场景。每个商品最多支持添加 10 个场景。
    1. 在商品列表中选择指定商品。
    2. 单击商品场景页签下的添加(+)图标。
    3. 在弹出的添加场景对话框中,完成以下配置并单击添加。
      配置项说明
      场景名称输入便于识别的场景名称。最多支持 50 个字符。例如,商品介绍分镜可命名为保温杯展示。

      场景类型

      选择数字人形象或视频素材。

      • 数字人形象:适用于伴播过程中需要展示数字人口播画面的场景。使用多底板数字人时,选择当前场景使用的底板。
      • 视频素材:适用于配置数字人未执行话术或动作时循环播放的待机视频。上传的视频需符合以下要求:
        • 无透明通道、编码格式为 H.264 的 MP4 视频。
        • 视频宽高比为 9:16,分辨率为 1080P。
        • 文件大小不超过 700 MB。
        • 首尾画面可以自然衔接。
        • 与当前直播间数字人一致。

      说明

      • 场景类型不支持修改,如需更换请新建场景。
      • 待机视频自带的音频不会播放。
      • 每个伴播直播间必须保留一个视频素材场景作为待机视频,且该场景标识必须设置为 default。
    您可以拖动调整同一商品下各场景的讲解顺序,或者单击场景的更多(...)图标,编辑场景名称或删除场景。
  4. 伴播模式按场景标识定位分镜。确保同一直播间内每个场景的场景标识唯一,您可以单击随机生成创建场景标识。
  5. (可选)单击页面顶部的数字人形象,可更换当前直播间使用的数字人形象。
  6. 单击页面右上方的房间设置,完成以下配置并单击确认。
    配置项说明
    语言更新直播语言,即数字人播报的语言。建议与真人主播的语言一致。
    语速设置数字人播报语速。取值范围为 0.5-2.0。
    角色信息填写数字人的身份、性格和说话风格。例如:你是一名专业、亲切的电商直播带货主播。表达自然、热情,语气真诚,介绍商品时简洁清楚。
    角色音色 ID单击可用音色 ID,查看并填写需要使用的音色 ID。该音色用于数字人播报内容。
  7. 单击保存配置,保存直播间配置信息。
  8. 单击开始直播,并等待直播间状态变为直播中。该操作只启动数字人直播间,不会使抖音直播伴侣等第三方直播软件开始直播。

伴播助手创建直播间并开播
  1. 打开伴播助手。
  2. 单击左侧直播间配置页签,并单击右上方的新建直播间。
  3. 在弹出的新建直播间页面,完成以下配置,并单击创建并开播。该操作只启动数字人直播间,不会使抖音直播伴侣等第三方直播软件开始直播。
    配置项说明
    直播间名称长度为 1-50 个字符。支持中文、英文、日语、韩语、西班牙语、巴西葡萄牙语、印尼语、泰语和马来西亚语文字,以及数字(0-9)、句点(.)、下划线(_)、连字符(-)和空格,但空格不能位于首尾。
    直播语言选择数字人播报的语言。支持选择中文、英文、日文、韩语、马来西亚语和泰语。建议与真人主播的语言一致。

    数字人形象

    选择数字人形象。

    说明

    多底板形象取第一块底板。

    角色人格填写数字人的身份、性格和说话风格。例如:你是一名专业、亲切的电商直播带货主播。表达自然、热情,语气真诚,介绍商品时简洁清楚。
    角色音色选择数字人说话时使用的音色。
    商品选择需要在本场直播中讲解的商品。支持拖动调整商品顺序。

    静止状态的视频

    静止视频是数字人未执行话术或动作时循环播放的待机视频。

    上传符合以下要求的视频:

    • 无透明通道、编码格式为 H.264 的 MP4 视频。
    • 视频宽高比为 9:16,分辨率为 1080P。
    • 文件大小不超过 700 MB。
    • 首尾画面可以自然衔接。
    • 与当前直播间数字人一致。

    在伴播助手关联直播间后,伴播助手会循环播放该视频作为待机画面。话术成片播放结束或打断数字人口播后,画面也会回到该视频。

    说明

    静止视频自带的音频不会播放。

直播间创建和启动需要一定时间,请等待直播间出现在直播间配置 > 直播中的直播间列表中。

步骤三:配置直播间基础信息和话术素材
  1. 打开伴播助手。
  2. 单击左侧直播间配置页签,在直播中的直播间中,单击打开您创建的直播间。
  3. 在基础信息页签下,完成以下配置并单击保存基础信息。
    配置项说明
    数字人角色配置数字人角色的名称和别名,即真人主播在语音指令中称呼数字人时使用的名称。多个别名之间使用逗号(,)或顿号(、)分隔。例如,数字人名称为桃子,可以添加小桃、桃桃作为别名。直播期间修改后,配置立即生效。

    静止视频

    静止视频是数字人未执行话术或动作时循环播放的待机视频。

    选择文件或输入文件在本机的完整路径。文件必须符合以下要求:

    • 无透明通道、编码格式为 H.264 的 MP4 视频。
    • 视频宽高比为 9:16,分辨率为 1080P。
    • 文件大小不超过 700 MB。
    • 首尾画面可以自然衔接。
    • 与当前直播间数字人一致。

    在伴播助手关联直播间后,伴播助手会循环播放该视频作为待机画面。话术成片播放结束或打断数字人口播后,画面也会回到该视频循环播放。

    说明

    静止视频自带的音频不会播放。

    商品配置

    配置商品的别名。商品别名是真人主播在语音指令中称呼商品时使用的简称或常用叫法。真人主播说出商品名称或任一别名后,伴播助手会识别对应的具体商品,用于判断与该商品关联的话术是否可以触发。

    多个别名之间使用逗号(,)或顿号(、)分隔。例如,商品原名为轻量真空保温杯时,可以添加保温杯、杯子作为别名。当真人主播说“接下来介绍保温杯”时,伴播助手会将当前讲解商品识别为轻量真空保温杯。

  4. 在话术素材页签下,单击右上方的新建话术,并完成以下配置。
    配置项说明
    场景名称输入便于识别的场景名称。最多支持 50 个字符。例如,问候话术可命名为开场问候。
    触发冷却(秒)设置该话术触发后,多长时间内不能再次触发,避免真人主播重复说出相近内容时连续播放同一话术。取值大于等于 0。
    关联商品关联商品后,仅在伴播助手识别到真人主播正在讲解该商品时触发该话术。

    视频来源

    选择生成视频或本地视频。

    • 生成视频:根据数字人话术文本生成口播视频。
    • 本地视频:在命中触发短语后播放的数字人动作视频。例如,上传一段数字人跳舞视频,并将触发短语设置为跳个舞。直播时,真人主播说出“跳个舞”后,伴播助手会播放这段视频,观众看到的就是数字人跳舞。
      选择文件或输入文件在本机的完整路径。文件必须符合以下要求:
      • 无透明通道、编码格式为 H.264 的 MP4 视频。
      • 视频宽高比为 9:16,分辨率为 1080P。
      • 文件大小不超过 700 MB。
      • 首尾画面可以自然衔接。
      • 与当前直播间数字人一致。

    数字人类型

    指定生成视频时使用的动作类型:

    • 讲品:讲解商品。
    • 打招呼:问候观众。
    • 其他交互:其他互动内容。

    说明

    仅在视频来源为生成视频时填写。

    触发短语

    输入需要真人主播说出的、用于启动话术的短语。

    多个触发短语之间使用逗号(,)或顿号(、)分隔。例如,为开场问候填写打个招呼、和大家问个好。

    触发时需数字人名称/别名

    设置真人主播是否需要先称呼数字人,再触发话术。

    开启后,真人主播必须先说出基础信息中配置的数字人名称或任一别名,随后说出的触发短语才会生效。例如,数字人名称为桃子,别名为小桃、桃桃,触发短语为介绍一下保温杯时,真人主播可以说“桃桃,介绍一下保温杯”或“桃子,介绍一下保温杯”触发对应话术。关闭后,真人主播可以直接说“介绍一下保温杯”触发对应话术。

    注意

    数字人名称和别名不能与话术触发短语重复。

    数字人播报脚本

    输入触发该话术后需要数字人实际播报的完整内容。真人主播说出触发短语后,数字人即可播报此处设置的内容。建议内容时长 8-25 秒。

    说明

    仅在视频来源为生成视频时填写。

  5. 配置话术后,根据视频来源单击对应按钮:
    • 选择生成视频时,单击生成视频,等待生成完成后预览视频。
    • 选择本地视频时,单击导入视频,确认视频已进入预览区。
  6. 完成话术配置并确认视频无误后,单击页面右上方的发布素材。
  7. 关联数字人直播间与直播软件。
    1. 打开直播软件。本文以抖音直播伴侣为例。
    2. 添加采集信号素材。直播软件通过本机虚拟摄像头和虚拟声卡采集伴播助手输出的数字人画面和声音。如需在最终直播中保留真人主播画面或声音,也需按实际直播画面和音频来源添加真人主播的视频或音频采集信号。
      • 数字人视频采集信号选择此前通过伴播助手注册的虚拟摄像头,例如 OBS Virtual Camera。
      • 数字人音频采集信号选择 CABLE Output (VB-Audio Virtual Cable)。
    3. 选择绿幕抠图,调整相似度让绿幕完全消失。
  8. 在伴播助手的直播间 ID下拉列表中,选择创建的伴播模式直播间,单击关联。
  9. 单击 ASR 实时识别右侧的启动识别。
  10. 真人主播说出触发短语,并确认:
  • ASR 实时识别区域显示的文字与实际语音一致。
  • 对应的话术视频开始播放。
  • 直播软件预览中的画面和声音符合最终直播效果。

您也可以在控制信息区域输入需要数字人立即播报的内容,或单击静止数字人播放静止视频。
11. 完成验证后,在直播软件中单击开始直播,将合成后的直播画面和声音推送至目标直播平台。
12. 需要结束直播时,在直播软件中结束直播,并在伴播助手或视频直播控制台中单击关播。

步骤八(可选):查看用量

  1. 在左侧导航栏,选择用量统计。
  2. 选择查询时间。支持查询最近 31 天的数据。
    Image
  3. 查看以下用量指标:
    • 音色克隆个数:每成功制作一个音色,系统记录 1 次音色训练用量。创建数字人时同步制作的音色也会记录 1 次。
    • 开播路数:同时处于直播中状态的直播间数量。例如,同时有 3 个直播间处于直播中,则显示 3 路。
    • 形象训练时长:使用默认模型成功制作数字人形象产生的训练时长。单位为分钟。系统按 5 分钟向上取整,例如 12 分钟按 15 分钟统计。使用非默认模型制作数字人形象产生的训练时长不计入该指标,模型服务商可能另行收费。
    • 数字人合流时长:数字人持续合成并输出画面和音频的实际时长,即智能体输出时长,单位为分钟。
    • 语音合成字符数:使用默认模型将讲解文本转换为语音时产生的音色合成用量。单位为万字符。

说明

用量统计展示所选时间范围内的实际业务用量。数字人管理、音色管理和直播间管理页面会分别展示对应资源的已用量和剩余量。如需集中查看全部资源包的余额和有效期,请前往费用中心的资源包管理页面。

常见问题

AI 数字人是否支持免费体验?

支持。AI 数字人提供 0 元体验包,包含 5 分钟数字人训练时长、1 次音色训练、1 路开播路数、4 万字符音色合成额度和 1 小时智能体输出时长。首次使用前,请联系技术支持开通 AI 数字人功能。开通后,前往购买资源页面,在托管资源包页签下领取体验包。

哪些模式支持实时直播?

剧本模式、智能模式和伴播模式支持实时直播。转录模式不用于实时直播,适用于根据已有 WAV 或 MP3 音频异步生成数字人口播视频。

智能模式和剧本模式有什么区别?

剧本模式按照您为各商品场景编写的讲品文案播报,内容更可控。智能模式根据商品亮点和商品知识自动生成讲解内容,并根据观众消息生成互动回复,适合商品信息较完整且希望减少脚本编写工作的直播。

AI 数字人适合哪些场景?

AI 数字人适合直播流程相对标准、需要长时间稳定讲解、希望减少真人持续出镜,或需要复用数字人形象和音色的场景。例如,您可以用于直播带货、活动促销、商品讲解,以及真人直播中的数字人伴播。如需根据已有音频生成数字人口播视频,可以使用转录模式。

AI 数字人直播能推到第三方直播平台吗?

能。

  • 使用剧本模式或智能模式时,可以将直播间的推流地址替换为第三方平台提供的 RTMP 推流地址。
  • 使用伴播模式时,伴播助手通过本机虚拟摄像头和虚拟声卡输出数字人画面和声音。直播软件采集该输出,并按需要叠加真人主播的视频或音频信号后,推送至目标直播平台。

说明

转录模式用于生成数字人口播视频,不用于实时推流。

伴播助手支持哪些设备?

目前伴播助手仅支持 Windows 设备。使用伴播助手前,请安装虚拟声卡,并准备能够采集伴播助手画面和音频的直播软件。

最近更新时间:2026.11.04 16:27:24
这个页面对您有帮助吗?
有用
有用
无用
无用