You need to enable JavaScript to run this app.
文档中心
AI MediaKit

AI MediaKit

复制全文
下载 pdf
大模型处理工具
大模型高光剪辑
复制全文
下载 pdf
大模型高光剪辑
AI MediaKit 的大模型高光剪辑工具,能够从一个或多个输入视频中,按场景预设、评分标准或故事目标智能识别精彩片段,自动挑选、裁剪并拼接成一个或多个指定时长的高光成片。该工具依托大模型的视频理解与文本推理能力,适用于新品发布、体育赛事、内容营销、知识科普、品牌宣传等多种场景的高光提取与混剪。​
快速体验:从一个新品发布会视频生成一条高光成片​
本节将演示如何针对一个新品发布会视频,快速生成一条 60 秒的宣发高光短片。​
准备工作​
  • 获取访问凭证:在开始之前,访问 AI MediaKit 控制台 API Key 管理页面,创建并获取 AI MediaKit API Key(用于媒体处理功能鉴权)。​
  • 准备视频文件:准备待处理的视频,并将其上传至公网可访问的服务器或视频点播服务中,以获取可供 API 调用的 URL。​
  • 视觉理解模型:doubao-seed-2-0-lite-260428​
  • 文本推理模型:请至少开通以下任一模型。当您未在请求中通过 customer_ark_config 参数指定 Endpoint 时,系统将按场景复杂度,自动查找并使用您账号下已开通的模型服务。​
  • doubao-seed-2-0-pro-260215​
  • doubao-seed-2-1-turbo-260628​
  • doubao-seed-2-1-pro-260628​
  • 此外,您还需开启 Cache 功能,用于启用模型的上下文缓存 API,若不开启,任务虽不会失败,但可能会影响最终的效果。​
  • ​​​
  • 进行跨服务授权:首次使用大模型高光剪辑工具前,请前往 AI MediaKit 控制台基础配置 > 授权管理页面,为 AI MediaKit 授予访问您 ARK 火山方舟资源的权限。否则,任务将因无权限访问而失败。​
操作流程​
大模型高光剪辑是一个异步任务,完整流程如下:​
  1. 成功调用提交大模型高光剪辑任务 API 后,您将获得一个任务 ID(task_id)。​
  1. 您可以轮询查询任务信息 API,直到任务状态 status 变为 completed;或者使用事件回调自动接收任务状态变化。​
  1. 任务完成后,解析响应中的 result 字段,即可在 outputs 数组中获取每条高光成片的下载地址。​
第 1 步:提交任务​
您需要调用提交大模型高光剪辑任务 API。可直接复制以下 cURL 命令,提交一个基于评分标准的高光剪辑任务。​
​
curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/video-highlights-llm' \​
-H 'Authorization: Bearer {Your_API_Key}' \​
-H 'Content-Type: application/json' \​
-d '{​
"video_urls": [​
"https://example.com/product_launch.mp4"​
],​
"target_duration": [60],​
"preset": "product_launch"​
}'​
​
说明​
  • 将 {Your_API_Key} 替换为您的有效 API Key。​
  • 将 video_urls 列表中的 URL 替换为您真实的视频地址。​
  • target_duration:目标成片时长列表(单位:秒),本示例生成一条 60 秒的成片。​
  • preset:使用 product_launch 场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。​
请求成功后,您会收到如下包含 task_id 的响应,请保存此 ID 用于后续查询。​
​
{​
"success": true,​
"task_id": "amk-tool-video-highlights-llm-123456789",​
"request_id": "20240521150000ABCDEFG12345"​
}​
​
第 2 步:获取结果​
您需要通过轮询查询任务信息 API,直到任务状态 status 变为 completed。​
​
curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/{task_id}' \​
-H 'Authorization: Bearer {Your_API_Key}'​
​
说明​
将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。​
当任务成功完成后,您将收到如下响应。您可以在 result.outputs 数组中找到每条高光成片的下载地址(默认有效期为 24 小时)。​
​
{​
"success": true,​
"task_id": "amk-tool-video-highlights-llm-123456789",​
"request_id": "20240521150000ABCDEFG12345",​
"status": "completed",​
"result": {​
"duration": 60.0,​
"input_duration": 3600.0,​
"outputs": [​
{​
"index": 0,​
"target_duration": 60.0,​
"video_url": "https://example.volcvideo.com/highlight_output_1.mp4?auth_key=...",​
"duration": 59.8,​
"segments": [​
{​
"video_index": 0,​
"segment_index": 0,​
"source": "product_launch.mp4",​
"title": "创始人登场演讲",​
"summary": "CEO登台,回顾品牌历史,并阐述新产品的设计理念和愿景。",​
"reason": "演讲富有感染力,是发布会的关键时刻,能有效传递品牌价值。",​
"spans": [​
{​
"source_start_ms": 120500,​
"source_end_ms": 135800​
}​
]​
},​
{​
"video_index": 0,​
"segment_index": 1,​
"source": "product_launch.mp4",​
"title": "核心功能演示",​
"summary": "产品经理通过实际操作,展示了新产品的“一键成片”核心功能。",​
"reason": "这是产品的核心卖点,演示画面直观,用户关注度高。",​
"spans": [​
{​
"source_start_ms": 845200,​
"source_end_ms": 865500​
}​
]​
}​
]​
}​
]​
},​
"expires_at": 1777464650,​
"created_at": 1777291767,​
"finished_at": 1777291851​
}​
​
进阶使用​
使用场景预设​
如果您不确定如何描述评分标准,可以通过 preset 参数直接选用内置场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。当前支持的预设包括:football(足球)、basketball(篮球)、automotive(汽车)、finance(金融财经)、product_launch(产品发布)、ecommerce(电商)、knowledge_share(知识分享)。​
​
{​
"video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/basketball.mp4"],​
"target_duration": [30, 60],​
"preset": "basketball"​
}​
​
使用自定义评分标准​
除了场景预设,您还可以通过 scoring_prompt 参数,用自然语言描述您认为“精彩”的片段应具备哪些特征,模型将依据此描述为视频片段打分并筛选。您还可以通过 analysis_prompt 补充分析指令,指定模型在分析时需要额外关注和提取的信息。​
​
{​
"video_urls": ["https://example.com/demo/match.mp4"],​
"target_duration": [60],​
"scoring_prompt": "识别所有进球、精彩射门、关键扑救以及球员庆祝的特写镜头。",​
"analysis_prompt": "在分析时,请同时记录画面中出现的实时比分。"​
}​
​
仅输出结构化高光数据​
如果您只需要高光片段的结构化数据(片段来源、时间范围、标题、摘要等)而不需要生成成片视频,可将 skip_video_output 设置为 true。此时响应中的 outputs 仅包含 segments 等结构化信息,不再返回 video_url。​
​
{​
"video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"],​
"target_duration": [60],​
"preset": "football",​
"skip_video_output": true​
}​
​
限定分析时间范围​
当仅输入一个视频时,您可以通过 time_range 指定待分析的时间范围(左闭右开,单位为毫秒),工具将只在该范围内分析并选取高光片段。​
​
{​
"video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"],​
"target_duration": [60],​
"preset": "football",​
"time_range": {​
"start_ms": 600000,​
"end_ms": 1800000​
}​
}​
​
使用火山方舟 Endpoint​
您可以通过 customer_ark_config 指定您自己火山引擎账号下的方舟(Ark)Endpoint,用于承载底层的视频理解与文本推理大模型调用。​
​
{​
"video_urls": ["https://vod-ai-test.tos-cn-beijing.volces.com/demo/match.mp4"],​
"target_duration": [60],​
"preset": "football",​
"customer_ark_config": {​
"video_understanding_endpoints": ["ep-20260101000000-abcde"],​
"text_reasoning_endpoints": ["ep-20260101000000-fghij"]​
}​
}​
​
参考信息​
计费说明​
大模型高光剪辑工具的总费用由两部分组成:​
  • 火山方舟大模型调用费用:功能运行依赖的底层大模型由火山方舟提供。您通过跨服务授权使用这些模型所产生的费用,将由火山方舟根据其自身定价直接向您收取。关于详细的计费规则与价格,请参阅火山方舟计费说明。您可以在任务完成后的 API 响应中,通过 result.token_usage 字段查看本次任务的详细大模型用量,包括输入/输出/缓存/音频/思考 Token 总数,以及按方舟 Endpoint 聚合的细分用量(endpoint_token_usages)。​
使用限制​
​
限制项​
说明​
输入视频来源​
支持公网 HTTP/HTTPS URL、本地上传 (mediakit://)、来源于火山引擎视频点播 (vod://) 和火山引擎对象存储 (tos://) 四种输入协议。关于各协议的具体说明和使用示例,请参阅多源媒体输入与本地上传。​
支持格式​
mp4、flv、ts、avi、mov、wmv、mkv 等主流视频格式。​
输入时长​
单个视频时长不超过 3 小时,全部输入视频累计时长不超过 15 小时。​
输入语言​
用于指定输入视频中的语音语言(供 ASR 分析时使用)。​
  • 默认行为:不指定时,系统会自动检测语言(支持中文、英文及部分方言)。​
输出语言​
用于指定输出的结构化信息(如标题、摘要、理由)的语言。支持 zh-CN(中文)和 en-US(英语)。​
输出条数​
单次任务最多生成 5 条高光成片。​
​
相关 API 文档​
​
最近更新时间:2026.09.22 10:32:42
这个页面对您有帮助吗?
有用
有用
无用
无用