AI MediaKit 的大模型高光剪辑工具,能够从一个或多个输入视频中,按场景预设、评分标准或故事目标智能识别精彩片段,自动挑选、裁剪并拼接成一个或多个指定时长的高光成片。该工具依托大模型的视频理解与文本推理能力,适用于新品发布、体育赛事、内容营销、知识科普、品牌宣传等多种场景的高光提取与混剪。
本节将演示如何针对一个新品发布会视频,快速生成一条 60 秒的宣发高光短片。
准备工作
- 获取访问凭证:在开始之前,访问 AI MediaKit 控制台 API Key 管理页面,创建并获取 AI MediaKit API Key(用于媒体处理功能鉴权)。
- 准备视频文件:准备待处理的视频,并将其上传至公网可访问的服务器或视频点播服务中,以获取可供 API 调用的 URL。
- 视觉理解模型:doubao-seed-2-0-lite-260428
- 文本推理模型:请至少开通以下任一模型。当您未在请求中通过 customer_ark_config 参数指定 Endpoint 时,系统将按场景复杂度,自动查找并使用您账号下已开通的模型服务。
- doubao-seed-2-0-pro-260215
- doubao-seed-2-1-turbo-260628
- doubao-seed-2-1-pro-260628
- 此外,您还需开启 Cache 功能,用于启用模型的上下文缓存 API,若不开启,任务虽不会失败,但可能会影响最终的效果。
-
- 进行跨服务授权:首次使用大模型高光剪辑工具前,请前往 AI MediaKit 控制台基础配置 > 授权管理页面,为 AI MediaKit 授予访问您 ARK 火山方舟资源的权限。否则,任务将因无权限访问而失败。
操作流程
大模型高光剪辑是一个异步任务,完整流程如下:
- 任务完成后,解析响应中的 result 字段,即可在 outputs 数组中获取每条高光成片的下载地址。
第 1 步:提交任务
说明
- 将 {Your_API_Key} 替换为您的有效 API Key。
- 将 video_urls 列表中的 URL 替换为您真实的视频地址。
- target_duration:目标成片时长列表(单位:秒),本示例生成一条 60 秒的成片。
- preset:使用 product_launch 场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。
请求成功后,您会收到如下包含 task_id 的响应,请保存此 ID 用于后续查询。
第 2 步:获取结果
说明
将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。
当任务成功完成后,您将收到如下响应。您可以在 result.outputs 数组中找到每条高光成片的下载地址(默认有效期为 24 小时)。
进阶使用
使用场景预设
如果您不确定如何描述评分标准,可以通过 preset 参数直接选用内置场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。当前支持的预设包括:football(足球)、basketball(篮球)、automotive(汽车)、finance(金融财经)、product_launch(产品发布)、ecommerce(电商)、knowledge_share(知识分享)。
除了场景预设,您还可以通过 scoring_prompt 参数,用自然语言描述您认为“精彩”的片段应具备哪些特征,模型将依据此描述为视频片段打分并筛选。您还可以通过 analysis_prompt 补充分析指令,指定模型在分析时需要额外关注和提取的信息。
如果您只需要高光片段的结构化数据(片段来源、时间范围、标题、摘要等)而不需要生成成片视频,可将 skip_video_output 设置为 true。此时响应中的 outputs 仅包含 segments 等结构化信息,不再返回 video_url。
限定分析时间范围
当仅输入一个视频时,您可以通过 time_range 指定待分析的时间范围(左闭右开,单位为毫秒),工具将只在该范围内分析并选取高光片段。
使用火山方舟 Endpoint
您可以通过 customer_ark_config 指定您自己火山引擎账号下的方舟(Ark)Endpoint,用于承载底层的视频理解与文本推理大模型调用。
参考信息
计费说明
大模型高光剪辑工具的总费用由两部分组成:
- AI MediaKit 任务费用:由 AI MediaKit 收取,按输入视频的总时长计费。关于详细的计费规则与价格,请参阅大模型高光剪辑(按输入时长计费)。
- 火山方舟大模型调用费用:功能运行依赖的底层大模型由火山方舟提供。您通过跨服务授权使用这些模型所产生的费用,将由火山方舟根据其自身定价直接向您收取。关于详细的计费规则与价格,请参阅火山方舟计费说明。您可以在任务完成后的 API 响应中,通过 result.token_usage 字段查看本次任务的详细大模型用量,包括输入/输出/缓存/音频/思考 Token 总数,以及按方舟 Endpoint 聚合的细分用量(endpoint_token_usages)。
使用限制
相关 API 文档