AI MediaKit 的深度动作捕捉工具能够逐帧估计视频画面的相对空间深度，弱化人物外观、服装、背景和画风等信息，同时保留动作轮廓、空间位移和镜头运动，生成时间连续的深度视频。您可以将输出结果用于 AI 视频动作参考、角色替换与动作复刻、运镜控制，以及三维内容和视觉特效预处理。 ## 效果预览通过深度动作捕捉工具，您可以将一段原视频转换为保留动作轮廓、空间位移和镜头运动的深度视频。下方示例同时展示了原视频、本工具输出的深度视频，以及将深度视频用于下游视频生成时的最终成品。 |阶段 |示例 1 |示例 2 | |---|---|---| |原视频 |[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/01cfaa47ef414f50bca4493d1833c89f~tplv-goo7wpa0wc-raw.image)
|[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/ef5cc7089fc248a9a1b611f6ef48ac5c~tplv-goo7wpa0wc-raw.image)
| |深度视频（本工具输出） |[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/afa932c592c9441080530b0ef2b5361b~tplv-goo7wpa0wc-raw.image)
|[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/1a8e3a4a84b84cfba1f99ed81e3efbec~tplv-goo7wpa0wc-raw.image)
| |最终成品 |[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/292cee444dca4632a3a7136c86ffb6e1~tplv-goo7wpa0wc-raw.image)
|[video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/861ae91b98b1475c826238a0c2042e23~tplv-goo7wpa0wc-raw.image)
| > **注意** > 深度动作捕捉工具仅生成上方展示的深度视频。最终成品是将深度视频和参考图提供给其他下游视频生成工具后得到的结果，并非深度动作捕捉工具直接生成的效果。实际生成效果取决于所使用的下游工具及其参数配置。 ## 适用场景深度动作捕捉适用于需要从视频中提取动作与空间结构信息的场景，典型用法包括： * **AI 视频动作参考**：从真人、影视或动画素材中提取动作轮廓和空间位移，减少人物外观与背景对生成结果的干扰。 * **角色替换与动作复刻**：将原视频动作转换为更纯净的空间控制信号，供下游模型复刻连续动作。 * **运镜控制**：保留镜头推进、拉远、横移等空间变化，为视频生成提供运镜参考。 * **三维内容与视觉特效预处理**：为三维重建、画面合成和视觉特效流程提供时间连续的相对深度视频。 ## 核心概念深度视频使用明暗变化表示画面中物体的相对远近关系。与原视频相比，它主要保留动作和空间结构，可减少人物外观、纹理和背景等信息对下游生成的干扰。 > **说明** > 深度结果表示画面内容的相对空间关系，不代表物体到相机的真实物理距离。当前仅输出深度视频，不输出逐帧深度图或原始深度矩阵。 ## 快速入门：生成深度视频本节以一段动作参考视频为例，演示提交深度动作捕捉任务并获取深度视频的完整流程。 ### 准备工作 * **获取访问凭证**：在开始之前，请访问 AI MediaKit 控制台的 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **MediaKit API Key**。 * **准备视频文件**：准备一个包含有效视频流的文件。支持 `mp4`、`flv`、`ts`、`avi`、`mov`、`wmv`、`mkv` 等主流视频格式；视频时长不得超过 10 分钟，分辨率不得超过 2K。 * **获取视频地址**：将文件上传至公网可访问的服务器，或使用本地上传 (`mediakit://`)、火山引擎视频点播 (`vod://`) 或火山引擎对象存储 (`tos://`) 的资源地址。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://docs.volcengine.com/docs/6448/2536893)。 ### 操作流程深度动作捕捉是一个异步任务，其标准流程如下： 1. 成功调用 `POST /api/v1/tools/video-depth` 提交任务后，您将获得一个任务 ID。 2. 您可以轮询 `GET /api/v1/tasks/{task_id}`，直到任务状态 `status` 变为 `completed`；或者使用[事件回调](https://docs.volcengine.com/docs/6448/2288701)自动接收任务状态变化。 3. 任务完成后，解析响应中的 `result` 字段，即可在 `video_url` 中获取 HEVC 编码的深度视频。临时下载地址有效期为 24 小时。 #### 第 1 步：提交深度动作捕捉任务您需要调用[提交深度动作捕捉任务 API](https://docs.volcengine.com/docs/6448/2744579)。可直接复制以下 cURL 命令。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/video-depth' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_url": "https://example.com/dance_reference.mp4", "model": "standard" }' ``` > **说明** * > 将 `{Your_API_Key}` 替换为您的有效 API Key。 * > 将 `video_url` 替换为待处理视频的地址。 * > `model` 用于指定深度估计模型档位。当前仅支持 `standard`，该参数可省略，默认值为 `standard`。请求成功后，您会收到如下包含 `task_id` 的响应，请保存此 ID 用于后续查询。 ```JSON { "success": true, "task_id": "amk-tool-video-depth-123456789", "request_id": "20261021140000ABCDEFG12345" } ``` #### 第 2 步：获取深度视频任务处理时间与视频文件大小、时长和分辨率有关。您需要轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532)，直到任务状态 `status` 变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \ -H 'Authorization: Bearer {Your_API_Key}' ``` > **说明** > 将 URL 末尾的 `{task_id}` 替换为第 1 步返回的任务 ID。任务成功完成后，您将收到如下响应。`result.video_url` 是深度视频的临时下载地址，有效期为 24 小时，请及时下载并保存；`result.duration` 表示输出视频时长，单位为秒。 ```JSON { "success": true, "task_id": "amk-tool-video-depth-123456789", "task_type": "video-depth", "status": "completed", "result": { "video_url": "https://example.volcvideo.com/video-depth/result.mp4?auth_key=1777464650-example", "duration": 18.6 }, "expires_at": 1792591200, "created_at": 1792504800, "finished_at": 1792504920, "request_id": "20261021140000ABCDEFG12345" } ``` ## 参考信息 ### 使用限制 |限制项 |说明 | |---|---| |输入视频限制 |* **文件数量**：每个任务处理一个视频。

* **文件来源**：支持公网 HTTP/HTTPS URL、本地上传 (`mediakit://`)、来源于火山引擎视频点播 (`vod://`) 和火山引擎对象存储 (`tos://`) 四种输入协议。任务执行期间，输入地址必须保持有效。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://docs.volcengine.com/docs/6448/2536893)。

* **文件格式**：支持 `mp4`、`flv`、`ts`、`avi`、`mov`、`wmv`、`mkv` 等主流视频格式，且文件必须包含有效视频流。

* **视频时长**：不超过 10 分钟。

* **视频分辨率**：不超过 2K。 | |模型 |当前仅支持 `standard`。 | |输出视频 |输出 HEVC 编码的相对深度视频，不输出逐帧深度图或原始深度矩阵。临时下载地址有效期为 24 小时，请及时下载并保存。 | ## 相关 API 文档 * [提交深度动作捕捉任务 API](https://docs.volcengine.com/docs/6448/2744579) * [查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) * [事件回调](https://docs.volcengine.com/docs/6448/2288701)