AI MediaKit 提供字幕擦除(标准版)和字幕擦除(精细化版)两个工具,实现对视频画面中内嵌字幕(硬字幕)的自动化检测与擦除。
- 标准版:提供高效、经济的字幕擦除方案,适用于对成本和速度有较高要求的通用场景。
- 精细化版:依托火山引擎高帧率 OCR 与 AIGC 图像修复算法,实现高质量的无痕擦除,最大程度地还原视频原始画面,适用于短剧出海、专业二创等对画质要求极高的场景。
本指南将帮助您了解两个版本的功能区别,并快速上手,通过 API 实现视频字幕的自动化处理。
精细化版提供 V4、V5、V5.6 三版擦除算法。您可以在提交任务时通过 model_version 参数指定版本。不传时默认使用 v4。
相较于 V4,V5 版本主要在以下方面进行了增强:
- 优化 AIGC 生成视频在擦除后出现的字幕闪烁问题。
- 处理速度提升:相同视频的处理耗时更短,具体 RTF 对比见处理耗时。
V5.6 在 V5 的基础上进一步优化擦除质量,重点改善以下方面:
- 画面稳定性:有效缓解擦除后残留的闪烁、水波纹问题。
- 多语言支持:在中英文之外,新增对西班牙语、韩语、泰语、印尼语、越南语、日语、葡萄牙语、德语、法语等多语种字幕的擦除支持。
说明
需要注意,V5.6 的处理耗时较 V5 明显增加,与 V4 大致相当;且在动画文字、复杂背景等部分场景下,仍可能出现漏擦或擦除不彻底的情况。建议结合实际需求选择版本:对多语种字幕或画面稳定性要求较高时使用 V5.6,其余场景推荐使用兼顾处理速度与擦除效果的 V5。
通过字幕擦除工具,您可以实现以下效果:
Replay
Play
00:00
/
00:00
Live
Fullscreen
Cssfullscreen
1x
从以下示例中,可看出在复杂的衣物纹理背景下,使用标准版擦除后,原字幕区域可能出现模糊、细节丢失;使用精细化版擦除则可以更完整地重建纹理,画面更接近原始效果。
本节将通过一个具体的示例,演示如何使用字幕擦除(精细化版)工具,快速实现针对中英文字幕短剧场景的字幕自动检测与擦除。
- 获取访问凭证:在开始之前,访问 AI MediaKit 控制台 API Key 管理页面,创建并获取 AI MediaKit API Key(用于媒体处理功能鉴权)。
- 准备视频文件:准备一个待处理的视频文件,并将其上传至公网可访问的服务器或视频点播服务中,以获取可供 API 调用的 URL。为方便您快速测试,本文后续步骤的示例代码中提供了一个可直接使用的演示视频 URL。
精细化字幕擦除是一个异步任务,整体流程如下:
- 成功调用 POST /api/v1/tools/erase-video-subtitle-pro 接口提交任务后,您将获得一个唯一的 task_id。
- 您可以轮询 GET /api/v1/tasks/{task_id} 接口,直到任务状态status 变为 completed;或者使用事件回调自动接收任务状态变化。
- 任务完成后,解析响应中的 result 字段,即可在 video_url 字段中获取处理后视频的下载地址。
说明
需替换参数:
- 将 {Your_API_Key} 替换为您的有效 API Key。
- -d 部分是 JSON 请求体,您可以直接修改其中的关键参数来自定义您的视频:
- video_url:示例中已提供可直接用于测试的演示视频 URL。您也可以将其替换为您自己的视频地址。
- mode:指定擦除模式为 Subtitle。此模式下,系统会自动识别并擦除满足以下条件的字幕:
- 位置:位于视频画面下方 50% 以内,且在横向偏中央的位置。
- 大小:文字竖向高度在视频高度的 1%~10% 之间。
请求成功后,您会收到如下包含 task_id 的响应,请保存此 ID 用于后续查询。
由于视频处理需要时间,您需要通过轮询查询任务信息 API 来获取最终结果,直到任务状态变为 completed。 说明
需替换参数:将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。
当任务成功完成后,您将收到如下响应。result 字段中的 video_url 即是处理后视频的下载地址(默认输出为 MP4 格式,有效期为 24 小时)。
除了依赖 OCR 自动检测,您还可以通过 erase_ratio_location 参数手动指定一个或多个矩形区域,系统将擦除这些区域内检测到的文本。擦除框常用于擦除位置固定的画面元素,例如水印、台标,以及短剧中常见的、位置固定的人名条、地名条等。
每个擦除框通过其左上角和右下角两个顶点来定义,所有坐标均为相对视频画面宽高的归一化比例(以画面左上角为原点 (0, 0)、右下角为 (1, 1),取值范围 0.0 ~ 1.0):
- top_left_x:擦除框左上角的 X 坐标(相对画面左边缘的水平比例)。
- top_left_y:擦除框左上角的 Y 坐标(相对画面顶边的垂直比例)。
- bottom_right_x:擦除框右下角的 X 坐标,需大于 top_left_x。
- bottom_right_y:擦除框右下角的 Y 坐标,需大于 top_left_y。
以擦除画面右下角的水印为例,下图橙色虚线框即为擦除区域,两个橙色顶点分别对应 (top_left_x, top_left_y) 与 (bottom_right_x, bottom_right_y):
擦除框的行为会与 mode 参数联动:
- 在 Text 模式下,系统仅在擦除框内执行擦除,擦除框即最终擦除区域,因此擦除框可置于画面任意位置(如右下角)。擦除水印、台标、人名/地名条等固定元素时,推荐使用 Text 模式。
- 在 Subtitle 模式下,系统默认仅处理画面下半部分(Y ≥ 0.5),此时实际擦除区域为擦除框与画面下半部分的重叠部分。
以下配置以擦除画面右下角的水印为例,其坐标与上图擦除框一致。mode 设置为 Text,以确保系统会检测并擦除区域内所有类型的文本,而不仅仅是字幕。如需同时擦除多处固定元素(如左上角台标),可在 erase_ratio_location 数组中追加多个擦除框。
在只需对视频的部分片段(如正片内容)执行擦除,而保留其余片段(如片头、片尾字幕)的场景下,您可以使用 time_segment_filter 参数,定义一个或多个时间段并对其应用不同的处理策略:
- skip:跳过列出的时间段,对视频其余部分执行擦除。
每个时间段通过 start_time 和 end_time定义,end_time 需大于 start_time。
示例 2:跳过片头(前 15 秒),擦除其余部分字幕
当同一视频的不同时间段字幕位置不同时(例如前半段字幕在底部、后半段还叠加了右下角水印),您可以在 time_segment_filter.mode 为 selected 的前提下,为 segments 中的每个时间段通过 erase_ratio_location 单独指定擦除框,实现不同时间段擦除不同位置的精细化控制。分时间段与全局擦除框互斥,请择一使用。此参数不能与顶层的 erase_ratio_location 参数同时配置。使用建议:
- 若要对所有选定时间段应用相同的擦除框,建议使用顶层的 erase_ratio_location 参数。详见指定区域擦除(框选擦除)。
- 若要对不同时间段应用不同的擦除框,或对部分时间段应用擦除框、另一部分使用默认行为,请仅配置此分段参数。对于希望使用默认擦除行为的时间段,可将此字段设为空数组 [] 或不传。
以下示例仅处理两个时间段:10~60 秒仅擦除画面底部字幕区域,90~120 秒改为擦除右下角水印区域;其余时间段不做任何擦除。
在 Subtitle 模式下,系统依据文字高度、水平居中程度等特征来判定哪些文本属于字幕。您可以通过 subtitle_filter 参数微调判定规则,以适配不同的字幕样式:
- min_text_height_ratio:文字高度最小比例(相对视频高度),默认 0.01。低于此高度的文本不会被判定为字幕。
- max_text_height_ratio:文字高度最大比例(相对视频高度)。高于此高度的文本不会被判定为字幕。不传时默认值与算法版本有关:v4 为 0.2,v5/v5.6 为 0.1。
- center_offset_ratio:文字区域中心相对视频宽度中心的最大偏离比例,默认 0.08。超过此偏离比例的文本不会被判定为字幕。
下图以竖屏短剧为例,说明上述三个阈值如何共同判定一段文本是否为字幕:仅当文本高度不低于下限、不高于上限,且水平方向足够居中时,才会被判定为字幕并擦除;过小的水印文字、过大的标题、偏离中心的台标等则会被排除。
以下示例将字幕文字高度上限放宽到画面高度的 15%,以擦除偏大的字幕:
- 高帧率 OCR 字幕检测:依托火山引擎高帧率 OCR 字幕检测算法,精准识别并定位视频中的字幕内容。该技术针对短剧等场景专门优化,不仅能准确区分需要擦除的字幕与需保留的剧情文本(如剧情提示、剧名、文字贴纸等),还采用高帧率抽帧技术确保无遗漏检测,为后续的精准擦除奠定坚实基础。
- AIGC 图像修复:在图像修复环节,采用自主研发的 AIGC 算法,结合时序分析与多帧联合处理,智能重建被擦除区域的画面。算法通过光流计算和特征匹配保持帧间稳定性,并运用深度学习生成逼真纹理,使修复后的画面与原始视频无缝融合,几乎看不出修改痕迹。
- 二次创作:在进行视频混剪或二次创作时,去除原视频字幕,以便根据新的创意添加自定义字幕或音频,使内容更符合新主题和风格。
- 内容翻译与出海:将短剧等内容在海外发行时,需要先擦除原视频的中文字幕,再添加目标语言的字幕。反之,在引入海外内容时,也需要擦除外文字幕并替换为中文字幕。
- AIGC 内容修正:当 AIGC 生成的视频中出现非预期的文字或字幕时(负向约束失效),可利用本功能进行高质量的无痕擦除。
- 广告与营销:根据不同平台的特性与受众需求调整广告视频。例如,擦除原有字幕,重新设计并制作与广告风格及宣传重点更匹配的新字幕,以增强视觉冲击力与信息传递效能。
字幕擦除工具的费用根据您选择的版本和处理后输出的视频时长计算。关于详细的计费规则、换算系数和计费示例,请参阅字幕擦除(按擦除时长计费)。 任务处理时长与视频的原始时长和所选的算法版本相关。RTF (Real-Time Factor) 指处理耗时与原片时长的比值,可用于预估任务耗时。具体对比如下:
请通过下方案例进行自查。