AI MediaKit 的大模型高光剪辑工具，能够从一个或多个输入视频中，按场景预设、评分标准或故事目标智能识别精彩片段，自动挑选、裁剪并拼接成一个或多个指定时长的高光成片。该工具依托大模型的视频理解与文本推理能力，适用于新品发布、体育赛事、内容营销、知识科普、品牌宣传等多种场景的高光提取与混剪。 ## 快速体验：从一个新品发布会视频生成一条高光成片本节将演示如何针对一个新品发布会视频，快速生成一条 60 秒的宣发高光短片。 ### 准备工作 * **获取访问凭证**：在开始之前，访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **AI MediaKit API Key**（用于媒体处理功能鉴权）。 * **准备视频文件**：准备待处理的视频，并将其上传至公网可访问的服务器或[视频点播服务](https://www.volcengine.com/docs/4/2834?lang=zh)中，以获取可供 API 调用的 URL。 * **开通火山方舟大模型服务**：大模型高光剪辑工具依赖火山方舟大模型。请前往[火山方舟控制台开通管理页面](https://console.volcengine.com/ark/region:cn-beijing/openManagement?LLM=%7B%7D&advancedActiveKey=model&projectName=default)，确保您已开通以下模型： * 视觉理解模型：`doubao-seed-2-0-lite-260428` * 文本推理模型：请至少开通以下任一模型。当您未在请求中通过 `customer_ark_config` 参数指定 Endpoint 时，系统将按场景复杂度，自动查找并使用您账号下已开通的模型服务。 * `doubao-seed-2-0-pro-260215` * `doubao-seed-2-1-turbo-260628` * `doubao-seed-2-1-pro-260628` 此外，您还需**开启 Cache 功能**，用于启用模型的上下文缓存 API，若不开启，任务虽不会失败，但可能会影响最终的效果。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/f7b9c99dec9443aba374e86049ae0683) * **进行跨服务授权**：首次使用大模型高光剪辑工具前，请前往 AI MediaKit 控制台[基础配置 > 授权管理](https://console.volcengine.com/imp/ai-mediakit/settings?tab=authorization&projectName=default)页面，为 AI MediaKit 授予访问您 **ARK 火山方舟**资源的权限。否则，任务将因无权限访问而失败。 ### 操作流程大模型高光剪辑是一个异步任务，完整流程如下： 1. 成功调用[提交大模型高光剪辑任务 API](https://docs.volcengine.com/docs/6448/2668092) 后，您将获得一个任务 ID（`task_id`）。 2. 您可以轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532)，直到任务状态 `status` 变为 `completed`；或者使用[事件回调](https://docs.volcengine.com/docs/6448/2288701)自动接收任务状态变化。 3. 任务完成后，解析响应中的 `result` 字段，即可在 `outputs` 数组中获取每条高光成片的下载地址。 #### 第 1 步：提交任务您需要调用[提交大模型高光剪辑任务 API](https://docs.volcengine.com/docs/6448/2668092)。可直接复制以下 cURL 命令，提交一个基于评分标准的高光剪辑任务。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/video-highlights-llm' \ -H 'Authorization: Bearer {Your_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "video_urls": [ "https://example.com/product_launch.mp4" ], "target_duration": [60], "preset": "product_launch" }' ```

说明

将 {Your_API_Key} 替换为您的有效 API Key。

将 video_urls 列表中的 URL 替换为您真实的视频地址。

target_duration：目标成片时长列表（单位：秒），本示例生成一条 60 秒的成片。

preset：使用 product_launch 场景预设，系统会自动采用针对该场景优化的分析策略和评分标准。

请求成功后，您会收到如下包含 `task_id` 的响应，请保存此 ID 用于后续查询。 ```JSON { "success": true, "task_id": "amk-tool-video-highlights-llm-123456789", "request_id": "20240521150000ABCDEFG12345" } ``` #### 第 2 步：获取结果您需要通过轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532)，直到任务状态 `status` 变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \ -H 'Authorization: Bearer {Your_API_Key}' ```

说明

将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。

当任务成功完成后，您将收到如下响应。您可以在 `result.outputs` 数组中找到每条高光成片的下载地址（默认有效期为 24 小时）。 ```JSON { "success": true, "task_id": "amk-tool-video-highlights-llm-123456789", "request_id": "20240521150000ABCDEFG12345", "status": "completed", "result": { "duration": 60.0, "input_duration": 3600.0, "outputs": [ { "index": 0, "target_duration": 60.0, "video_url": "https://example.volcvideo.com/highlight_output_1.mp4?auth_key=...", "duration": 59.8, "segments": [ { "video_index": 0, "segment_index": 0, "source": "product_launch.mp4", "title": "创始人登场演讲", "summary": "CEO登台，回顾品牌历史，并阐述新产品的设计理念和愿景。", "reason": "演讲富有感染力，是发布会的关键时刻，能有效传递品牌价值。", "spans": [ { "source_start_ms": 120500, "source_end_ms": 135800 } ] }, { "video_index": 0, "segment_index": 1, "source": "product_launch.mp4", "title": "核心功能演示", "summary": "产品经理通过实际操作，展示了新产品的“一键成片”核心功能。", "reason": "这是产品的核心卖点，演示画面直观，用户关注度高。", "spans": [ { "source_start_ms": 845200, "source_end_ms": 865500 } ] } ] } ] }, "expires_at": 1777464650, "created_at": 1777291767, "finished_at": 1777291851 } ``` ## 进阶使用 ### 使用场景预设如果您不确定如何描述评分标准，可以通过 `preset` 参数直接选用内置场景预设，系统会自动采用针对该场景优化的分析策略和评分标准。当前支持的预设包括：`football`（足球）、`basketball`（篮球）、`automotive`（汽车）、`finance`（金融财经）、`product_launch`（产品发布）、`ecommerce`（电商）、`knowledge_share`（知识分享）。 ```JSON { "video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/basketball.mp4"], "target_duration": [30, 60], "preset": "basketball" } ``` ### 使用自定义评分标准除了场景预设，您还可以通过 `scoring_prompt` 参数，用自然语言描述您认为“精彩”的片段应具备哪些特征，模型将依据此描述为视频片段打分并筛选。您还可以通过 `analysis_prompt` 补充分析指令，指定模型在分析时需要额外关注和提取的信息。 ```Plain Text { "video_urls": ["https://example.com/demo/match.mp4"], "target_duration": [60], "scoring_prompt": "识别所有进球、精彩射门、关键扑救以及球员庆祝的特写镜头。", "analysis_prompt": "在分析时，请同时记录画面中出现的实时比分。" } ``` ### 仅输出结构化高光数据如果您只需要高光片段的结构化数据（片段来源、时间范围、标题、摘要等）而不需要生成成片视频，可将 `skip_video_output` 设置为 `true`。此时响应中的 `outputs` 仅包含 `segments` 等结构化信息，不再返回 `video_url`。 ```JSON { "video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"], "target_duration": [60], "preset": "football", "skip_video_output": true } ``` ### 限定分析时间范围当仅输入一个视频时，您可以通过 `time_range` 指定待分析的时间范围（左闭右开，单位为毫秒），工具将只在该范围内分析并选取高光片段。 ```JSON { "video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"], "target_duration": [60], "preset": "football", "time_range": { "start_ms": 600000, "end_ms": 1800000 } } ``` ### 使用火山方舟 Endpoint 您可以通过 `customer_ark_config` 指定您自己火山引擎账号下的方舟（Ark）Endpoint，用于承载底层的视频理解与文本推理大模型调用。 ```JSON { "video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"], "target_duration": [60], "preset": "football", "customer_ark_config": { "video_understanding_endpoints": ["ep-20260101000000-abcde"], "text_reasoning_endpoints": ["ep-20260101000000-fghij"] } } ``` ## 参考信息 ### 计费说明大模型高光剪辑工具的总费用由两部分组成： * **AI MediaKit 任务费用**：由 AI MediaKit 收取，按输入视频的总时长计费。关于详细的计费规则与价格，请参阅[大模型高光剪辑（按输入时长计费）](https://docs.volcengine.com/docs/6448/2486473#3d322ee0)。 * **火山方舟大模型调用费用**：功能运行依赖的底层大模型由火山方舟提供。您通过跨服务授权使用这些模型所产生的费用，将由火山方舟根据其自身定价直接向您收取。关于详细的计费规则与价格，请参阅[火山方舟计费说明](https://www.volcengine.com/docs/82379/1544106?lang=zh)。您可以在任务完成后的 API 响应中，通过 `result.token_usage` 字段查看本次任务的详细大模型用量，包括输入/输出/缓存/音频/思考 Token 总数，以及按方舟 Endpoint 聚合的细分用量（`endpoint_token_usages`）。 ### 使用限制 |限制项 |说明 | |---|---| |输入视频来源 |支持公网 HTTP/HTTPS URL、本地上传 (`mediakit://`)、来源于火山引擎视频点播 (`vod://`) 和火山引擎对象存储 (`tos://`) 四种输入协议。关于各协议的具体说明和使用示例，请参阅[多源媒体输入与本地上传](https://docs.volcengine.com/docs/6448/2536893)。 | |支持格式 |`mp4`、`flv`、`ts`、`avi`、`mov`、`wmv`、`mkv` 等主流视频格式。 | |输入时长 |单个视频时长不超过 3 小时，全部输入视频累计时长不超过 15 小时。 | |输入语言 |用于指定输入视频中的语音语言（供 ASR 分析时使用）。

* 默认行为：不指定时，系统会自动检测语言（支持中文、英文及部分方言）。

* 指定语种：支持 `zh-CN`（中文）、`en-US`（英文）、`ja-JP`（日语）等二十余种语言。详细列表请参阅[提交大模型高光剪辑任务 API](https://docs.volcengine.com/docs/6448/2668092)。 | |输出语言 |用于指定输出的结构化信息（如标题、摘要、理由）的语言。支持 `zh-CN`（中文）和 `en-US`（英语）。 | |输出条数 |单次任务最多生成 5 条高光成片。 | ## 相关 API 文档 * [提交大模型高光剪辑任务 API](https://docs.volcengine.com/docs/6448/2668092) * [查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) * [事件回调](https://docs.volcengine.com/docs/6448/2288701)