AI MediaKit 的视频口型对齐工具，会基于您上传的一段人物视频和一段驱动音频，用音频内容驱动视频中人物的面部表情与口型，生成一段口型与音频同步、自然流畅的口播视频，适用于短视频创作、虚拟主播、教育培训、营销推广等场景。本篇开发指南将引导您： * 理解视频口型对齐的工作方式与输入要求。 * 快速上传一段人物视频与一段驱动音频，生成口型对齐视频。 * 了解如何在音频时长大于视频时长时，通过镜像循环画面对齐音频时长。 ## 效果预览 |输入的人物视频和驱动音频 |输出视频 | |---|---| |驱动音频.m4a
|

| |

|| ## 快速体验：生成口型对齐视频本节将通过一个具体的示例，演示如何上传一段人物视频和一段驱动音频，生成一段口型与音频同步的视频。 ### 准备工作 1. **获取访问凭证**：在开始之前，访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **MediaKit API Key**（用于媒体处理功能鉴权）。 2. **准备人物视频与驱动音频**：准备一段单人真人出镜的视频文件和一段驱动音频，并将它们上传至公网可访问的服务器或[视频点播服务](https://www.volcengine.com/docs/4/2834?lang=zh)中，以获取可供 API 调用的 URL。为保证效果，请确保视频满足下文[使用限制](https://docs.volcengine.com/docs/6448/2658349#%E4%BD%BF%E7%94%A8%E9%99%90%E5%88%B6)中的要求。 ### 操作流程视频口型对齐是一个异步任务，整体流程如下： 1. 成功调用 `POST /api/v1/tools/lip-sync` 提交任务后，您将获得一个唯一的 `task_id`。 2. 您可以轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532)，直到任务状态 `status` 变为 `completed`；或者使用[事件回调](https://docs.volcengine.com/docs/6448/2288701)自动接收任务状态变化。 3. 任务完成后，从响应的 `result` 字段中获取口型对齐视频的下载地址 `video_url`（下载链接有效期 24 小时）。 #### 第 1 步：提交任务调用[提交视频口型对齐任务 API](https://docs.volcengine.com/docs/6448/2656064)。您可以直接复制以下 cURL 命令，向 API 提交一个口型对齐任务。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/lip-sync' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_url": "https://example.com/your_portrait_video.mp4", "audio_url": "https://example.com/your_driving_audio.mp3" }' ```

说明

将 {Your_API_Key} 替换为您的有效 API Key。

将 video_url 替换为您准备的人物视频 URL。

将 audio_url 替换为您准备的驱动音频 URL。

请求成功后，您会收到如下包含 `task_id` 的响应，请保存此 ID 用于后续查询。 ```JSON { "success": true, "task_id": "amk-tool-lip-sync-123456789", "request_id": "20260814130000ABCDEFG12345" } ``` #### 第 2 步：获取结果由于视频处理需要时间，您需要通过轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) 来获取最终结果，直到任务状态变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \ -H 'Authorization: Bearer {Your_API_Key}' ```

说明

将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

当任务成功完成后，您将收到如下响应。`result.video_url` 即为口型对齐后的视频下载链接（有效期 24 小时），`result.duration` 为输出视频时长（单位：秒）。 ```JSON { "success": true, "task_id": "amk-tool-lip-sync-123456789", "status": "completed", "result": { "video_url": "https://example.volcvideo.com/lip_sync_output.mp4?auth_key=...", "duration": 60.5 } } ``` ## 进阶使用 ### 处理音视频时长不一致当驱动音频（`audio_url`）与人物视频（`video_url`）的时长不一致时，您可以通过 `enable_video_loop` 参数控制最终输出视频的处理策略： * `false`（默认）：以较短者为准进行截断。最终输出的视频时长，将取原视频和驱动音频中较短一方的长度。 * `true`：以音频时长为准。最终输出的视频时长将与驱动音频的时长严格对齐。 * 若音频长于视频：循环播放原视频画面。为确保衔接自然，循环将采用“正向 → 反向 → 正向…”的镜像循环模式，直到画面时长匹配音频时长。 * 若音频短于视频：截断原视频画面以匹配音频时长。以下示例演示了当音频长于视频时，如何通过设置 `"enable_video_loop": true` 来循环视频画面以匹配音频的完整时长。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/lip-sync' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_url": "https://example.com/your_portrait_video.mp4", "audio_url": "https://example.com/your_long_driving_audio.mp3", "enable_video_loop": true }' ``` ## 参考信息 ### 使用限制 |限制项 |说明 | |---|---| |输入来源 |输入视频与驱动音频均支持公网 HTTP/HTTPS URL、本地上传 (`mediakit://`)、来源于火山引擎视频点播 (`vod://`) 和火山引擎对象存储 (`tos://`) 四种输入协议。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://docs.volcengine.com/docs/6448/2536893)。 | |支持格式 |* **输入视频**：`mp4`。

* **驱动音频**：`mp3`、`aac`、`wav`、`m4a`、`flac`。 | |视频要求 |* 仅支持**单人真人**出镜视频（卡通人物需五官与真人比例相近）。

* 人脸建议**正对镜头**，水平转动不超过 **45 度**、俯仰不超过 **15 度**，无遮挡、面部光线稳定。

* 视频时长不超过 **30 分钟**，且必须包含视频流。

* 暂不支持 HDR 视频。 | ### 计费说明视频口型对齐工具按输出视频时长计费，详细计费规则与单价请参见[视频口型对齐（按输出时长计费）](https://docs.volcengine.com/docs/6448/2486473#nqPrRnTHPr)。 ### 任务耗时预估任务处理时长与您输入的驱动音频时长相关。您可根据 RTF (Real\-Time Factor) 系数预估任务耗时，即处理耗时与驱动音频时长的比值。视频口型对齐工具的平均 RTF 约为 **6～8**。例如，一段 1 分钟的音频，处理耗时约 6～8 分钟。 ## 相关 API 文档 * [提交视频口型对齐任务 API](https://docs.volcengine.com/docs/6448/2656064) * [查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) * [事件回调](https://docs.volcengine.com/docs/6448/2288701)