文档中心

AI MediaKit

视频工具

视频口型对齐

AI MediaKit 的视频口型对齐工具，会基于您上传的一段人物视频和一段驱动音频，用音频内容驱动视频中人物的面部表情与口型，生成一段口型与音频同步、自然流畅的口播视频，适用于短视频创作、虚拟主播、教育培训、营销推广等场景。

本篇开发指南将引导您：

效果预览

输入的人物视频和驱动音频	输出视频
驱动音频.m4a	Replay Play 00:00 / 00:00 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag
Replay Play 00:00 / 00:00 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag

快速体验：生成口型对齐视频

本节将通过一个具体的示例，演示如何上传一段人物视频和一段驱动音频，生成一段口型与音频同步的视频。

准备工作

获取访问凭证：在开始之前，访问 AI MediaKit 控制台 API Key 管理页面，创建并获取 MediaKit API Key（用于媒体处理功能鉴权）。

准备人物视频与驱动音频：准备一段单人真人出镜的视频文件和一段驱动音频，并将它们上传至公网可访问的服务器或视频点播服务中，以获取可供 API 调用的 URL。为保证效果，请确保视频满足下文使用限制中的要求。

操作流程

视频口型对齐是一个异步任务，整体流程如下：

第 1 步：提交任务

调用提交视频口型对齐任务 API。您可以直接复制以下 cURL 命令，向 API 提交一个口型对齐任务。

说明

请求成功后，您会收到如下包含 task_id 的响应，请保存此 ID 用于后续查询。

第 2 步：获取结果

由于视频处理需要时间，您需要通过轮询查询任务信息 API 来获取最终结果，直到任务状态变为 completed。

说明

将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

当任务成功完成后，您将收到如下响应。result.video_url 即为口型对齐后的视频下载链接（有效期 24 小时），result.duration 为输出视频时长（单位：秒）。

进阶使用

处理音视频时长不一致

当驱动音频（audio_url）与人物视频（video_url）的时长不一致时，您可以通过 enable_video_loop 参数控制最终输出视频的处理策略：

以下示例演示了当音频长于视频时，如何通过设置 "enable_video_loop": true 来循环视频画面以匹配音频的完整时长。

参考信息

使用限制

限制项	说明
输入来源	输入视频与驱动音频均支持公网 HTTP/HTTPS URL、本地上传 (mediakit://)、来源于火山引擎视频点播 (vod://) 和火山引擎对象存储 (tos://) 四种输入协议。关于各协议的具体说明和使用示例，请参阅多源媒体输入与本地上传。
支持格式	输入视频：mp4。驱动音频：mp3、aac、wav、m4a、flac。
视频要求	仅支持单人真人出镜视频（卡通人物需五官与真人比例相近）。人脸建议正对镜头，水平转动不超过 45 度、俯仰不超过 15 度，无遮挡、面部光线稳定。视频时长不超过 30 分钟，且必须包含视频流。暂不支持 HDR 视频。

计费说明

视频口型对齐工具按输出视频时长计费，详细计费规则与单价请参见视频口型对齐（按输出时长计费）。

任务耗时预估

任务处理时长与您输入的驱动音频时长相关。您可根据 RTF (Real-Time Factor) 系数预估任务耗时，即处理耗时与驱动音频时长的比值。视频口型对齐工具的平均 RTF 约为 6～8。例如，一段 1 分钟的音频，处理耗时约 6～8 分钟。