AI MediaKit 提供**字幕擦除（标准版）和字幕擦除（精细化版）** 两个工具，实现对视频画面中内嵌字幕（硬字幕）的自动化检测与擦除。 * **标准版**：提供高效、经济的字幕擦除方案，适用于对成本和速度有较高要求的通用场景。 * **精细化版**：依托火山引擎高帧率 OCR 与 AIGC 图像修复算法，实现高质量的无痕擦除，最大程度地还原视频原始画面，适用于短剧出海、专业二创等对画质要求极高的场景。本指南将帮助您了解两个版本的功能区别，并快速上手，通过 API 实现视频字幕的自动化处理。 ## 标准版和精细化版对比 |功能特性 |精细化版 |标准版 | |---|---|---| |效果差异 |能精准重建背景纹理，实现无痕擦除，细节保留更完整，画质更高。 |处理复杂背景（如衣物纹理）时，原字幕区域可能产生模糊感，细节有所丢失。 | |适用场景 |专业二创、短剧出海、AIGC 内容修正等对画质和修复效果要求极高的场景。 |通用视频内容、成本敏感型业务、对处理速度要求较高的场景。 | |擦除模式 |* 智能自动检测

* 指定区域擦除 |智能自动检测 | |计费价格 |1 元/分钟 |0.4 元/分钟 | |API |[提交字幕擦除（精细化版）任务 API](https://docs.volcengine.com/docs/6448/2372084) |[提交字幕擦除（标准版）任务 API](https://docs.volcengine.com/docs/6448/2386125) | ## 擦除算法版本说明（仅精细化版）精细化版提供 V4、V5、V5.6 三版擦除算法。您可以在提交任务时通过 `model_version` 参数指定版本。不传时默认使用 `v4`。相较于 V4，V5 版本主要在以下方面进行了增强： * **擦除效果提升**： * 优化 AIGC 生成视频在擦除后出现的字幕闪烁问题。 * 优化带阴影字幕的擦除效果。 * 优化误擦问题。 * **处理速度提升**：相同视频的处理耗时更短，具体 RTF 对比见[处理耗时](https://docs.volcengine.com/docs/6448/2371372#0c3036a5)。 V5.6 在 V5 的基础上进一步优化擦除质量，重点改善以下方面： * **画面稳定性**：有效缓解擦除后残留的闪烁、水波纹问题。 * **多语言支持**：在中英文之外，新增对西班牙语、韩语、泰语、印尼语、越南语、日语、葡萄牙语、德语、法语等多语种字幕的擦除支持。

说明

需要注意，V5.6 的处理耗时较 V5 明显增加，与 V4 大致相当；且在动画文字、复杂背景等部分场景下，仍可能出现漏擦或擦除不彻底的情况。建议结合实际需求选择版本：对多语种字幕或画面稳定性要求较高时使用 V5.6，其余场景推荐使用兼顾处理速度与擦除效果的 V5。

## 效果预览通过字幕擦除工具，您可以实现以下效果：

从以下示例中，可看出在复杂的衣物纹理背景下，使用标准版擦除后，原字幕区域可能出现模糊、细节丢失；使用精细化版擦除则可以更完整地重建纹理，画面更接近原始效果。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/79381f90f60749f2a6ee05e5d91ac632) ## 快速体验：一键擦除短剧字幕本节将通过一个具体的示例，演示如何使用**字幕擦除（精细化版）** 工具，快速实现针对**中英文字幕短剧场景**的字幕自动检测与擦除。 ### 准备工作 1. **获取访问凭证**：在开始之前，访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **AI MediaKit API Key**（用于媒体处理功能鉴权）。 2. **准备视频文件**：准备一个待处理的视频文件，并将其上传至公网可访问的服务器或[视频点播服务](https://www.volcengine.com/docs/4/2834?lang=zh)中，以获取可供 API 调用的 URL。为方便您快速测试，本文后续步骤的示例代码中提供了一个可直接使用的演示视频 URL。 ### 操作流程精细化字幕擦除是一个异步任务，整体流程如下： 1. 成功调用 `POST /api/v1/tools/erase-video-subtitle-pro` 接口提交任务后，您将获得一个唯一的 `task_id`。 2. 您可以轮询 `GET /api/v1/tasks/{task_id}` 接口，直到任务状态`status` 变为 `completed`；或者使用[事件回调](https://docs.volcengine.com/docs/6448/2288701)自动接收任务状态变化。 3. 任务完成后，解析响应中的 `result` 字段，即可在 `video_url` 字段中获取处理后视频的下载地址。 #### 第 1 步：提交任务调用[提交字幕擦除（精细化版）任务 API](https://docs.volcengine.com/docs/6448/2372084)。您可以直接复制以下 cURL 命令，向 API 提交一个字幕擦除任务。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/erase-video-subtitle-pro' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_url": "https://vod-ai-test.tos-cn-beijing.volces.com/demo/demo_video_drama_hard_subs.mp4", "mode": "Subtitle" }' ```

说明

需替换参数：

将 {Your_API_Key} 替换为您的有效 API Key。

-d 部分是 JSON 请求体，您可以直接修改其中的关键参数来自定义您的视频：

video_url：示例中已提供可直接用于测试的演示视频 URL。您也可以将其替换为您自己的视频地址。

mode：指定擦除模式为 Subtitle。此模式下，系统会自动识别并擦除满足以下条件的字幕：

位置：位于视频画面下方 50% 以内，且在横向偏中央的位置。

大小：文字竖向高度在视频高度的 1%～10% 之间。

颜色：白色。

请求成功后，您会收到如下包含 `task_id` 的响应，请保存此 ID 用于后续查询。 ```JSON { "success": true, "task_id": "amk-tool-erase-video-subtitle-pro-123456789", "request_id": "20240520203000ABCDEFG12345" } ``` #### 第 2 步：获取结果由于视频处理需要时间，您需要通过轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) 来获取最终结果，直到任务状态变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \ -H 'Authorization: Bearer {Your_API_Key}' ```

说明

需替换参数：将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

当任务成功完成后，您将收到如下响应。`result` 字段中的 `video_url` 即是处理后视频的下载地址（默认输出为 **MP4** 格式，有效期为 **24** 小时）。 ```JSON { "success": true, "task_id": "amk-tool-erase-video-subtitle-pro-123456789", "task_type": "erase-video-subtitle-pro", "status": "completed", "result": { "video_url": "https://example.volcvideo.com/erased-video.mp4?auth_key=...", "duration": 180.5 }, "expires_at": 1775047666, "created_at": 1774874853, "finished_at": 1774874866, "request_id": "1742012dcc1938455d84dbe56beb7acc" } ``` ## 进阶使用（仅精细化版） ### 指定区域擦除（框选擦除）除了依赖 OCR 自动检测，您还可以通过 `erase_ratio_location` 参数手动指定一个或多个矩形区域，系统将擦除这些区域内检测到的文本。擦除框常用于擦除位置固定的画面元素，例如水印、台标，以及短剧中常见的、位置固定的人名条、地名条等。每个擦除框通过其左上角和右下角两个顶点来定义，所有坐标均为相对视频画面宽高的归一化比例（以画面左上角为原点 `(0, 0)`、右下角为 `(1, 1)`，取值范围 0.0 ～ 1.0）： * `top_left_x`：擦除框左上角的 X 坐标（相对画面左边缘的水平比例）。 * `top_left_y`：擦除框左上角的 Y 坐标（相对画面顶边的垂直比例）。 * `bottom_right_x`：擦除框右下角的 X 坐标，需大于 `top_left_x`。 * `bottom_right_y`：擦除框右下角的 Y 坐标，需大于 `top_left_y`。以擦除画面右下角的水印为例，下图橙色虚线框即为擦除区域，两个橙色顶点分别对应 `(top_left_x, top_left_y)` 与 `(bottom_right_x, bottom_right_y)`： ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/a53ffd476d6c4f55a037c5a3ceecfe16) 擦除框的行为会与 `mode` 参数联动： * 在 `Text` 模式下，系统仅在擦除框内执行擦除，擦除框即最终擦除区域，因此擦除框可置于画面任意位置（如右下角）。擦除水印、台标、人名/地名条等固定元素时，推荐使用 `Text` 模式。 * 在 `Subtitle` 模式下，系统默认仅处理画面下半部分（Y ≥ 0.5），此时实际擦除区域为擦除框与画面下半部分的重叠部分。

说明

如需为不同时间段设置不同擦除区域，请见分时段指定不同擦除区域。

以下配置以擦除画面右下角的水印为例，其坐标与上图擦除框一致。`mode` 设置为 `Text`，以确保系统会检测并擦除区域内所有类型的文本，而不仅仅是字幕。如需同时擦除多处固定元素（如左上角台标），可在 `erase_ratio_location` 数组中追加多个擦除框。 ```JSON { "video_url": "https://example.com/short_drama_clip.mp4", "mode": "Text", "erase_ratio_location": [ { "top_left_x": 0.62, "top_left_y": 0.86, "bottom_right_x": 0.97, "bottom_right_y": 0.96 } ] } ``` ### 指定时间段擦除在只需对视频的部分片段（如正片内容）执行擦除，而保留其余片段（如片头、片尾字幕）的场景下，您可以使用 `time_segment_filter` 参数，定义一个或多个时间段并对其应用不同的处理策略： * `selected`：仅对列出的时间段执行擦除。 * `skip`：跳过列出的时间段，对视频其余部分执行擦除。每个时间段通过 `start_time` 和 `end_time`定义，`end_time` 需大于 `start_time`。 #### 示例 1：仅擦除 10~60 秒区间的字幕 ```JSON { "video_url": "https://example.com/source_video.mp4", "mode": "Subtitle", "time_segment_filter": { "mode": "selected", "segments": [ { "start_time": 10, "end_time": 60 } ] } } ``` #### 示例 2：跳过片头（前 15 秒），擦除其余部分字幕 ```JSON { "video_url": "https://example.com/source_video.mp4", "mode": "Subtitle", "time_segment_filter": { "mode": "skip", "segments": [ { "start_time": 0, "end_time": 15 } ] } } ``` ### 分时段指定不同擦除区域当同一视频的不同时间段字幕位置不同时（例如前半段字幕在底部、后半段还叠加了右下角水印），您可以在 `time_segment_filter.mode` 为 `selected` 的前提下，为 `segments` 中的每个时间段通过 `erase_ratio_location` 单独指定擦除框，实现不同时间段擦除不同位置的精细化控制。分时间段与全局擦除框互斥，请择一使用。此参数不能与顶层的 `erase_ratio_location` 参数同时配置。使用建议： * 若要对所有选定时间段应用**相同**的擦除框，建议使用顶层的 `erase_ratio_location` 参数。详见[指定区域擦除（框选擦除）](https://docs.volcengine.com/docs/6448/2371372#d2fbf2a8)。 * 若要对不同时间段应用**不同**的擦除框，或对部分时间段应用擦除框、另一部分使用默认行为，请仅配置此分段参数。对于希望使用默认擦除行为的时间段，可将此字段设为空数组 `[]` 或不传。 #### 示例：不同时间段擦除不同区域以下示例仅处理两个时间段：10~60 秒仅擦除画面底部字幕区域，90~120 秒改为擦除右下角水印区域；其余时间段不做任何擦除。 ```JSON { "video_url": "https://example.com/source_video.mp4", "mode": "Text", "time_segment_filter": { "mode": "selected", "segments": [ { "start_time": 10, "end_time": 60, "erase_ratio_location": [ { "top_left_x": 0.1, "top_left_y": 0.8, "bottom_right_x": 0.9, "bottom_right_y": 0.95 } ] }, { "start_time": 90, "end_time": 120, "erase_ratio_location": [ { "top_left_x": 0.62, "top_left_y": 0.86, "bottom_right_x": 0.97, "bottom_right_y": 0.96 } ] } ] } } ``` ### 精确控制字幕判定（字幕特征过滤）在 `Subtitle` 模式下，系统依据文字高度、水平居中程度等特征来判定哪些文本属于字幕。您可以通过 `subtitle_filter` 参数微调判定规则，以适配不同的字幕样式： * `min_text_height_ratio`：文字高度最小比例（相对视频高度），默认 `0.01`。低于此高度的文本不会被判定为字幕。 * `max_text_height_ratio`：文字高度最大比例（相对视频高度）。高于此高度的文本不会被判定为字幕。不传时默认值与算法版本有关：v4 为 `0.2`，v5/v5.6 为 `0.1`。 * `center_offset_ratio`：文字区域中心相对视频宽度中心的最大偏离比例，默认 `0.08`。超过此偏离比例的文本不会被判定为字幕。下图以竖屏短剧为例，说明上述三个阈值如何共同判定一段文本是否为字幕：仅当文本高度不低于下限、不高于上限，且水平方向足够居中时，才会被判定为字幕并擦除；过小的水印文字、过大的标题、偏离中心的台标等则会被排除。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/84bad90a77284ba7918db2548003a547) 以下示例将字幕文字高度上限放宽到画面高度的 15%，以擦除偏大的字幕： ```JSON { "video_url": "https://example.com/source_video.mp4", "mode": "Subtitle", "subtitle_filter": { "max_text_height_ratio": 0.15 } } ``` ## 参考信息 ### 核心优势 * **高帧率 OCR 字幕检测**：依托火山引擎高帧率 OCR 字幕检测算法，精准识别并定位视频中的字幕内容。该技术针对短剧等场景专门优化，不仅能准确区分需要擦除的字幕与需保留的剧情文本（如剧情提示、剧名、文字贴纸等），还采用高帧率抽帧技术确保无遗漏检测，为后续的精准擦除奠定坚实基础。 * **AIGC 图像修复**：在图像修复环节，采用自主研发的 AIGC 算法，结合时序分析与多帧联合处理，智能重建被擦除区域的画面。算法通过光流计算和特征匹配保持帧间稳定性，并运用深度学习生成逼真纹理，使修复后的画面与原始视频无缝融合，几乎看不出修改痕迹。 ### 应用场景 * **二次创作**：在进行视频混剪或二次创作时，去除原视频字幕，以便根据新的创意添加自定义字幕或音频，使内容更符合新主题和风格。 * **内容翻译与出海**：将短剧等内容在海外发行时，需要先擦除原视频的中文字幕，再添加目标语言的字幕。反之，在引入海外内容时，也需要擦除外文字幕并替换为中文字幕。 * **AIGC 内容修正**：当 AIGC 生成的视频中出现非预期的文字或字幕时（负向约束失效），可利用本功能进行高质量的无痕擦除。 * **广告与营销**：根据不同平台的特性与受众需求调整广告视频。例如，擦除原有字幕，重新设计并制作与广告风格及宣传重点更匹配的新字幕，以增强视觉冲击力与信息传递效能。 ### 计费说明字幕擦除工具的费用根据您选择的版本和处理后输出的视频时长计算。关于详细的计费规则、换算系数和计费示例，请参阅[字幕擦除（按擦除时长计费）](https://docs.volcengine.com/docs/6448/2486473#cab855ce)。 ### 使用限制 |限制项 |说明 | |---|---| |输入文件限制 |* **文件来源**：支持公网 HTTP/HTTPS URL、本地上传 (`mediakit://`)、来源于火山引擎视频点播 (`vod://`) 和火山引擎对象存储 (`tos://`) 四种输入协议。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://docs.volcengine.com/docs/6448/2536893)。

* **支持格式**：`mp4`, `flv`, `ts`, `avi`, `mov`, `wmv`, `mkv` 等主流视频格式。

* **支持语言**：当前的字幕检测（OCR）功能主要针对**中文**和**英文**进行了优化。对于其他语言的字幕，可能无法准确识别，从而影响最终的擦除效果。

* **支持语言**：字幕检测（OCR）支持的语言与所选 `model_version` 有关。`v4` / `v5` 主要针对**中文**和**英文**进行了优化；`v5.6` 在此基础上新增对西班牙语、韩语、泰语、印尼语、越南语、日语、葡萄牙语、德语、法语等多语种字幕的支持。对于所选版本不支持或无法识别语种的字幕，可能无法准确识别，从而影响最终的擦除效果。

* **输入分辨率限制**：最高支持 2K 分辨率。 | |输出视频分辨率 |输出视频的分辨率与输入视频的分辨率保持一致。输入视频的分辨率大于 1080p 时，则默认按照 1080p 输出。 | ### 处理耗时任务处理时长与视频的原始时长和所选的算法版本相关。RTF (Real\-Time Factor) 指处理耗时与原片时长的比值，可用于预估任务耗时。具体对比如下： |**视频时长** |**V4 版本 RTF** |**V5 版本 RTF** |**V5.6 版本 RTF** | |---|---|---|---| |大于 1 分钟 |约 9 |约 5 |约 9 | |小于等于 1 分钟 |约 30 |约 20 |约 30 | ## 常见问题 ### 问题 1：字幕擦除得不干净？请通过下方案例进行自查。 #### 支持擦除的字幕范围 |条件 |默认边界（Subtitle 模式） |示例 | |---|---|---| |字幕竖向位置 |位于视频画面下半部分 (Y ≥ 0.5) 的字幕会被擦除。 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/85b86806b46046b09414ed6f8fb2760b) | |字幕横向位置 |文字横向位置足够**水平居中**的字幕会被擦除。可通过 `subtitle_filter` 的 `center_offset_ratio` 参数调整。 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/d1416ed97ce84d73bf83c3033a80fee1) | |字幕大小 |文字竖向高度在视频高度的 **1%～10%** 之间会被擦除。可通过 `subtitle_filter` 的 `min_text_height_ratio`与 `max_text_height_ratio` 参数调整。 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/c56ccff0b2564505932c04007deae382)

![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/b18af8238b3f4821894bdd56f916fdd0)

| |字幕颜色 |白色 | | |字幕语言 |* `v4` / `v5` 支持**中文**和**英文**。

* `v5.6` 支持多语种。 | | #### 不支持擦除的字幕范围 |条件 |边界 |示例 | |---|---|---| |字幕竖向位置 |在视频画面上方 50% 以内的字幕不会被擦除

|![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/7242f4d2599d460aad0fb71f57824ddf) | |字幕大小 |文字竖向高度在视频高度的小于 1% 或大于 10% 不会被擦除 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/080dce45e02b4399ad317c3eb8ed1724)

![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/4e714a50bdfb4328aeaa5aff78c8ee0b) | |字幕语言 |* 所选 `model_version` 不支持的语种字幕无法正常擦除（`v4` / `v5` 仅支持中英文，`v5.6` 额外支持西班牙语、韩语、泰语等多语种）

* 无法识别语种的字幕无法正常擦除 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/8a41d47588dd4199bd10e688f7230979) | #### 可能不符合预期的场景 |场景 |描述 |示例 | |---|---|---| |场景文本误擦 |对于符合支持擦除范围的场景文本会发生误擦除。如示例，被误擦的条幅文本的位置、大小、颜色都符合擦除范围，所以被误擦。 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/82170976811f409a960adb01aaf2f940) | ## 相关 API 文档 * [提交字幕擦除（精细化版）任务 API](https://docs.volcengine.com/docs/6448/2372084) * [提交字幕擦除（标准版）任务 API](https://docs.volcengine.com/docs/6448/2386125) * [查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) * [事件回调](https://docs.volcengine.com/docs/6448/2288701)