AI MediaKit 的大模型高光剪辑工具,能够从一个或多个输入视频中,按场景预设、评分标准或故事目标智能识别精彩片段,自动挑选、裁剪并拼接成一个或多个指定时长的高光成片。该工具依托大模型的视频理解与文本推理能力,适用于新品发布、体育赛事、内容营销、知识科普、品牌宣传等多种场景的高光提取与混剪。
本节将演示如何针对一个新品发布会视频,快速生成一条 60 秒的宣发高光短片。
准备工作
- 获取访问凭证:在开始之前,访问 AI MediaKit 控制台 API Key 管理页面,创建并获取 AI MediaKit API Key(用于媒体处理功能鉴权)。
- 准备视频文件:准备待处理的视频,并将其上传至公网可访问的服务器或视频点播服务中,以获取可供 API 调用的 URL。
- 视觉理解模型:doubao-seed-2-0-lite-260428
- 文本推理模型:请至少开通以下任一模型。当您未在请求中通过 customer_ark_config 参数指定 Endpoint 时,系统将按场景复杂度,自动查找并使用您账号下已开通的模型服务。
- doubao-seed-2-0-pro-260215
- doubao-seed-2-1-turbo-260628
- doubao-seed-2-1-pro-260628
- 此外,您还需开启 Cache 功能,用于启用模型的上下文缓存 API,若不开启,任务虽不会失败,但可能会影响最终的效果。
-
- 进行跨服务授权:首次使用大模型高光剪辑工具前,请前往 AI MediaKit 控制台基础配置 > 授权管理页面,为 AI MediaKit 授予访问您 ARK 火山方舟资源的权限。否则,任务将因无权限访问而失败。
操作流程
大模型高光剪辑是一个异步任务,完整流程如下:
- 任务完成后,解析响应中的 result 字段,即可在 outputs 数组中获取每条高光成片的下载地址。
第 1 步:提交任务
说明
- 将 {Your_API_Key} 替换为您的有效 API Key。
- 将 video_urls 列表中的 URL 替换为您真实的视频地址。
- target_duration:目标成片时长列表(单位:秒),本示例生成一条 60 秒的成片。
- preset:使用 product_launch 场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。
请求成功后,您会收到如下包含 task_id 的响应,请保存此 ID 用于后续查询。
第 2 步:获取结果
说明
将 URL 末尾的 {task_id} 替换为第 1 步返回的任务 ID。
当任务成功完成后,您将收到如下响应。您可以在 result.outputs 数组中找到每条高光成片的下载地址(默认有效期为 24 小时)。
进阶使用
使用场景预设
如果您不确定如何描述评分标准,可以通过 preset 参数直接选用内置场景预设,系统会自动采用针对该场景优化的分析策略和评分标准。当前对外支持的预设场景包括:football(足球)、basketball(篮球)、automotive(汽车)、finance(金融财经)、product_launch(产品发布)、ecommerce(电商)、knowledge_share(知识分享)和 short_drama(短剧)。
除了场景预设,您还可以通过 scoring_prompt 参数,用自然语言描述您认为“精彩”的片段应具备哪些特征,模型将依据此描述为视频片段打分并筛选。您还可以通过 analysis_prompt 补充分析指令,指定模型在分析时需要额外关注和提取的信息。
如果您只需要高光片段的结构化数据(片段来源、时间范围、标题、摘要等)而不需要生成成片视频,可将 skip_video_output 设置为 true。此时响应中的 outputs 仅包含 segments 等结构化信息,outputs[].video_url 不提供可下载的视频地址,可能为空字符串或 null。
使用火山方舟 Endpoint
您可以通过 customer_ark_config 指定您自己火山引擎账号下的方舟(Ark)Endpoint,用于承载底层的视频理解与文本推理大模型调用。两个 Endpoint 列表均须包含 1~3 个不重复、属于当前客户且处于运行状态的 Endpoint ID,按数组顺序确定调用优先级。视频理解 Endpoint 必须支持视频、音频及结构化输出;文本推理 Endpoint 必须支持思考及结构化输出。
场景方案:短剧“一口气看完”系列
针对短剧营销场景,常见的做法是提取前几集的精彩高光作为“钩子”吸引观众,随后拼接全集正片内容形成一个超长视频(如“一口气看完”系列)。您可以组合以下参数实现该效果:
- 提取高光钩子:通过 analysis_video_count 指定仅分析前 N 个视频(如前 10 集)。系统将仅从这些视频中筛选精彩片段,作为成片的开场。
- 无缝拼接全集:将 append_source_video 设为 true,系统会在高光结束后,按顺序追加全部输入视频(如 100 集)。
- 去除冗余内容:开启 analyze_intro_outro_info(片头片尾检测)。系统会自动识别并剔除每集的片头、片尾以及重复的“前情提要”,确保长视频观看体验丝滑。
- 确保视频生成:请确保 skip_video_output 为 false(默认值),以生成最终的合成视频。
请求示例: 分析前 2 集高光,检测并拼接全部 3 集正片。
参考信息
计费说明
大模型高光剪辑工具的总费用由两部分组成:
- AI MediaKit 任务费用:由 AI MediaKit 收取,以任务结果中的 result.duration 作为处理计量时长。该值由高光有效输入分析时长、实际生成的高光部分时长之和及片头片尾分析计量时长按需累加而成。关于不同参数组合下的计费场景和计量时长,请参阅大模型高光剪辑计费说明。
- 火山方舟大模型调用费用:功能运行依赖的底层大模型由火山方舟提供。您通过跨服务授权使用这些模型所产生的费用,将由火山方舟根据其自身定价直接向您收取。
- 用量查询:您可以在任务完成后的 API 响应中,通过 result.token_usage 字段查看本次任务的详细大模型用量,包括输入/输出/缓存/音频/思考 Token 总数。
- 价格参考:关于详细的计费规则与价格,请参阅火山方舟计费说明。这些字段采用不同统计维度,请勿直接相加。
使用限制
相关 API 文档