文档中心

AI MediaKit

视频工具

深度动作捕捉

AI MediaKit 的深度动作捕捉工具能够逐帧估计视频画面的相对空间深度，弱化人物外观、服装、背景和画风等信息，同时保留动作轮廓、空间位移和镜头运动，生成时间连续的深度视频。您可以将输出结果用于 AI 视频动作参考、角色替换与动作复刻、运镜控制，以及三维内容和视觉特效预处理。

效果预览

通过深度动作捕捉工具，您可以将一段原视频转换为保留动作轮廓、空间位移和镜头运动的深度视频。下方示例同时展示了原视频、本工具输出的深度视频，以及将深度视频用于下游视频生成时的最终成品。

阶段	示例 1	示例 2
原视频	Replay Play 00:00 / 00:11 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag	Replay Play 00:00 / 00:09 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag
深度视频（本工具输出）	Replay Play 00:00 / 00:11 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag	Replay Play 00:00 / 00:09 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag
最终成品	Replay Play 00:00 / 00:11 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag	Replay Play 00:00 / 00:09 Live 00:00 Fullscreen Cssfullscreen 1x 2x 1.5x 1x 0.75x 0.5x Click and hold to drag

注意

深度动作捕捉工具仅生成上方展示的深度视频。最终成品是将深度视频和参考图提供给其他下游视频生成工具后得到的结果，并非深度动作捕捉工具直接生成的效果。实际生成效果取决于所使用的下游工具及其参数配置。

适用场景

深度动作捕捉适用于需要从视频中提取动作与空间结构信息的场景，典型用法包括：

核心概念

深度视频使用明暗变化表示画面中物体的相对远近关系。与原视频相比，它主要保留动作和空间结构，可减少人物外观、纹理和背景等信息对下游生成的干扰。

说明

深度结果表示画面内容的相对空间关系，不代表物体到相机的真实物理距离。当前仅输出深度视频，不输出逐帧深度图或原始深度矩阵。

快速入门：生成深度视频

本节以一段动作参考视频为例，演示提交深度动作捕捉任务并获取深度视频的完整流程。

准备工作

准备视频文件：准备一个包含有效视频流的文件。支持 mp4、flv、ts、avi、mov、wmv、mkv 等主流视频格式；视频时长不得超过 10 分钟，分辨率不得超过 2K。

获取视频地址：将文件上传至公网可访问的服务器，或使用本地上传 (mediakit://)、火山引擎视频点播 (vod://) 或火山引擎对象存储 (tos://) 的资源地址。关于各协议的具体说明和使用示例，请参阅多源媒体输入与本地上传。

操作流程

深度动作捕捉是一个异步任务，其标准流程如下：

您可以轮询 GET /api/v1/tasks/{task_id}，直到任务状态 status 变为 completed；或者使用事件回调自动接收任务状态变化。

第 1 步：提交深度动作捕捉任务

您需要调用提交深度动作捕捉任务 API。可直接复制以下 cURL 命令。

说明

请求成功后，您会收到如下包含 task_id 的响应，请保存此 ID 用于后续查询。

第 2 步：获取深度视频

任务处理时间与视频文件大小、时长和分辨率有关。您需要轮询查询任务信息 API，直到任务状态 status 变为 completed。

说明

将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

任务成功完成后，您将收到如下响应。result.video_url 是深度视频的临时下载地址，有效期为 24 小时，请及时下载并保存；result.duration 表示输出视频时长，单位为秒。

参考信息

使用限制

限制项	说明
输入视频限制	文件数量：每个任务处理一个视频。文件来源：支持公网 HTTP/HTTPS URL、本地上传 (mediakit://)、来源于火山引擎视频点播 (vod://) 和火山引擎对象存储 (tos://) 四种输入协议。任务执行期间，输入地址必须保持有效。关于各协议的具体说明和使用示例，请参阅多源媒体输入与本地上传。文件格式：支持 mp4、flv、ts、avi、mov、wmv、mkv 等主流视频格式，且文件必须包含有效视频流。视频时长：不超过 10 分钟。视频分辨率：不超过 2K。
模型	当前仅支持 standard。
输出视频	输出 HEVC 编码的相对深度视频，不输出逐帧深度图或原始深度矩阵。临时下载地址有效期为 24 小时，请及时下载并保存。