AI MediaKit 的视频识别字幕工具，利用先进的视频光学字符识别（OCR）技术，能够精准地从视频画面中提取**硬字幕**（即固化在视频画面中、无法访问的文字），输出一份带时间戳的结构化文本数据，有助于实现字幕提取、视频内容合规审核以及构建视频内容搜索引擎等功能。本篇开发指南将引导您： * 理解视频识别字幕的核心能力与工作流程。 * 快速从一个视频文件中提取出内嵌的字幕文本。 * 学习如何使用不同的识别模式以适应不同场景。 ## 效果预览通过视频识别字幕工具，您可以将一个包含硬字幕的视频文件作为输入，最终得到结构化的 JSON 字幕数据，其中包含了每一句字幕的文本内容和精准的起止时间。 |输入的视频文件 |输出的字幕数据 | |---|---| |

|原始 API 输出为 JSON 格式，处理后可得到类似 SRT 格式的数据：

```Plain Text```
```- 00:00:00,032 --> 00:00:02,066 怎么浑身上下干干净净的```
```- 00:00:02,100 --> 00:00:02,733 我```
```- 00:00:03,000 --> 00:00:04,200 反倒是侄媳```
```- 00:00:04,700 --> 00:00:05,766 满头大汗```
```- 00:00:06,233 --> 00:00:07,433 祖母的病```
```- 00:00:07,466 --> 00:00:08,800 小娘治了三年```
```- 00:00:09,100 --> 00:00:10,133 了然于胸```
```- 00:00:10,466 --> 00:00:12,066 治起来当然不费劲了```
```- 00:00:12,466 --> 00:00:14,633 素心一介后宅妇人```
```- 00:00:14,666 --> 00:00:16,166 没见过什么世面```
```- 00:00:16,366 --> 00:00:17,800 紧张了出点汗```
```- 00:00:24,633 --> 00:00:26,233 我看以叶姨娘的医术```
```- 00:00:26,433 --> 00:00:28,066 如此高深的药理搭配```
```- 00:00:28,300 --> 00:00:29,599 怕是开不出来吧```
```- 00:00:29,633 --> 00:00:30,933 他竟然看得懂```
```- 00:00:32,200 --> 00:00:33,266 傅家药行近年来```
```- 00:00:33,300 --> 00:00:34,366 势头正猛```
```- 00:00:34,666 --> 00:00:36,200 怕是藏了不少名医```
```- 00:00:37,666 --> 00:00:38,900 怎么不引荐引荐```
| ## 快速体验：从视频中提取硬字幕本场景演示如何从一段视频中，提取出所有内嵌字幕对应的文本及时间轴。 ### 准备工作 1. **获取访问凭证**：在开始之前，访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **MediaKit API Key**（用于媒体处理功能鉴权）。 2. **准备视频文件**：准备一个待处理的视频文件，并将其上传至公网可访问的服务器或[视频点播服务](https://www.volcengine.com/docs/4/2834?lang=zh)中，以获取可供 API 调用的 URL。为方便您快速测试，本文后续步骤的示例代码中提供了一个可直接使用的演示视频 URL。 ### 操作流程视频识别字幕是一个异步任务，完整流程如下： 1. 成功调用 `POST /api/v1/tools/video-ocr` 后，API 将返回一个任务 ID。 2. 您可以轮询[查询任务信息 API](https://www.volcengine.com/docs/6448/2278532)，直到任务状态 `status` 变为 `completed`；或者使用[事件回调](https://www.volcengine.com/docs/6448/2288701)自动接收任务状态变化。 3. 任务完成后，解析 `result` 字段，即可在 `subtitles` 数组中获取所有字幕信息。 #### 第 1 步：提交任务您需要调用[提交视频识别字幕（OCR）任务 API](https://www.volcengine.com/docs/6448/2386123)。可直接复制以下 cURL 命令提交一个基础任务。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/video-ocr' \ --header 'Authorization: Bearer {Your_API_Key}' \ --header 'Content-Type: application/json' \ --data '{ "video_url": "https://vod-ai-test.tos-cn-beijing.volces.com/demo/demo_video_drama_hard_subs.mp4" }' ```

说明

需替换参数：

将 {Your_API_Key} 替换为您的有效 API Key。

video_url：示例中已提供可直接用于测试的演示视频 URL。您也可以将其替换为您自己的视频地址。

请求成功后，您会收到如下包含 `task_id` 的响应，请保存此 ID 用于后续查询。 ```JSON { "success": true, "task_id": "amk-tool-video-ocr-123456789", "request_id": "20240521120000ABCDEFG12345" } ``` #### 第 2 步：获取结果您需要通过轮询查询任务接口，直到任务状态 `status` 变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \ --header 'Authorization: Bearer {Your_API_Key}' ```

说明

需替换参数：将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

当任务成功完成后，您将收到如下响应。`result` 字段的 `subtitles` 数组中包含了字幕结果。 ```JSON { "success": true, "task_id": "amk-tool-video-ocr-123456789", "request_id": "20240521120000ABCDEFG12345", "status": "completed", "result": { "duration": 55.2, "subtitles": [ { "start_time": 1.2, "end_time": 3.5, "subtitle_text": "这是一个示例文本" }, { "start_time": 4.0, "end_time": 6.8, "subtitle_text": "识别视频中的硬字幕" } ] }, "expire_timestamp": 1774504841 } ``` ## 进阶使用 ### 调整识别范围（默认仅字幕）默认情况下，视频识别字幕工具仅识别位于视频画面常规字幕位置的文本，适用于绝大多数硬字幕提取场景。除了默认的字幕识别模式（`Subtitle`）外，该工具还提供详细模式（`Detailed`），用于识别画面中所有可见的文本信息，包括但不限于字幕、标题、注释等。 #### 示例：使用详细模式识别视频中的所有文本 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/video-ocr' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_url": "https://example.com/scene_with_text.mp4", "mode": "Detailed" }' ``` 详细模式下，返回结果中的每个 `subtitle` 对象会额外包含两个字段： * `text_label`：文本类别标签。`Subtitle` 表示字幕；`Others` 表示画面中的其他文字（如水印、台标、贴片等非字幕内容）。 * `text_location`：文本在画面中的像素坐标矩形（`top_left_x` / `top_left_y` / `bottom_right_x` / `bottom_right_y`），可用于精确定位文本所在位置。 ## 参考信息 ### 应用场景 * **字幕提取与再创作**：从无字幕轨的视频中提取字幕，作为生成 SRT/WebVTT 字幕或进行二次创作的基础。 * **视频内容索引与检索**：提取视频中的所有文字信息，建立内容索引库，实现通过关键词快速检索视频片段。 * **内容审核与合规**：快速识别视频中的文字内容，用于敏感词检测、版权信息核查等内容合规审查场景。 * **数据分析与挖掘**：将海量视频中的视觉文本数据化，用于市场分析、品牌曝光统计等商业智能应用。 ### 使用限制与性能 |限制项 |说明 | |---|---| |**输入文件限制** |* **文件来源**：支持公网 HTTP/HTTPS URL、本地上传 (`mediakit://`)、来源于火山引擎视频点播 (`vod://`) 和火山引擎对象存储 (`tos://`) 四种输入协议。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://www.volcengine.com/docs/6448/2536893)。

* **支持格式**：`mp4`, `flv`, `ts`, `avi`, `mov`, `wmv`, `mkv` 等主流视频格式。

* **视频时长**：单文件时长不得超过 10 分钟。

* **视频分辨率**：支持 240p～4k。

* **语种支持**：当前版本仅支持识别**简体中文**和**英语**。 | ## 相关 API 文档 * [提交视频识别字幕（OCR）任务 API](https://www.volcengine.com/docs/6448/2386123) * [查询任务信息 API](https://www.volcengine.com/docs/6448/2278532) * [事件回调](https://www.volcengine.com/docs/6448/2288701)