AI MediaKit 智能剪辑是面向企业客户提供的视频理解剪辑工具集，致力于将复杂的视频剪辑能力封装为**可组合、可调用、可对话**的智能服务。结合火山方舟视觉大模型，用户无需理解底层复杂的剪辑参数，只需通过自然语言描述剪辑目标，系统即可自动完成意图理解、参数转换、多轨道剪辑、云端渲染与成片导出。 AI MediaKit 智能剪辑适用于 AI 剧粗剪、视频二创、视频剪辑 Agent 等业务场景，并支持 API、Web SDK 等多种交付形态，能够灵活适配您的 SaaS 平台、Agent 工具及自建业务系统。 ## 为什么需要智能剪辑？随着大模型在视频生成与理解上的能力持续增强，企业可以更轻松地生产和解析媒体素材。然而，在 AI 生成内容（AIGC）的后期制作，或基于视频理解结果进行二次创作时，传统剪辑工具暴露了以下问题： * 参数复杂：传统剪辑涉及大量参数，学习成本高。 * AI 协同不畅：AI 模型直接控制底层剪辑参数时，容易因理解偏差导致结果不理想。智能剪辑旨在解决这一问题，它为 AI 和业务提供了一套足够友好且易用的剪辑基础设施，将复杂的底层能力封装为简单的自然语言接口，显著降低了视频创作的门槛。 ## 方案架构 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/aff58cc02b9c4821986a88b68c64d46a) ## 方案优势 * **对话即剪辑，零门槛上手**：自然语言直接驱动多轨道剪辑，无需掌握专业剪辑软件，复杂操作一句话完成，大幅降低使用门槛。 * **场景覆盖广，一套能力多用**：从 AI 剧创的片段拼接，到视频二创的精彩剪辑，再到个人助手的自由创作，一套产品能力覆盖多类核心场景。 * **所见即所得，人机协同**：Web SDK 支持实时预览与手动微调，Agent 自动生成草稿后用户可直接在线精调，兼顾效率与可控性。 * **多形态交付，灵活集成**：API、Web SDK 多种交付形态全覆盖，无论是 AI SaaS 平台、Agent 工具还是传统业务系统，均可低成本快速接入。 * **云端渲染，稳定高效**：云端合成导出，弹性资源支撑高并发，无需客户自备算力，开箱即用、交付稳定。 ## 支持的剪辑能力当前，您可以通过自然语言使用以下丰富的剪辑能力： |功能分类 |能力说明 | |---|---| |视频理解与智能识别 |* 视频理解后剪辑：支持基于主题或人物进行片段剪辑（如 “提取关于某个主题的讨论”、“剪辑女主出现的片段”）。

* 精彩片段提取：识别视频中的强冲突、强情绪等高能片段，并剪辑为新视频。

* 风险识别打码：识别视频中暴力血腥等风险场景，输出出现的时间点和画面位置，并对暴力血腥出现的时间点和画面进行高斯模糊处理。 | |基础素材操作 |* 时间轴操作：支持对素材进行精确的开始、结束时间截取，以及循环播放。

* 画面裁剪：支持从原始画面中裁剪出任意矩形区域。

* 速度控制：支持对视频或音频素材进行倍速处理。

* 2D 变换：支持调整素材的位置、尺寸（宽/高）、进行水平/垂直翻转和任意角度旋转。 | |视觉效果与调整 |* 色彩调整：支持调整画面的亮度、饱和度、色调、对比度等。

* 调色滤镜：支持为视频添加多种风格化滤镜。

* 视觉特效：支持分屏、镜像等常见效果，以及通过名称指定信号故障、抖动、辉光等多种特效。查看[支持的特效](https://docs.volcengine.com/docs/6448/2563056#26a0d34e)。

* 模糊效果：支持对画面进行整体或局部的矩形高斯模糊。

* 转场动画：支持在不同视频片段间添加转场效果，您可以在指令中通过名称指定交叉溶解、闪烁、推入等具体转场。查看[支持的转场](https://docs.volcengine.com/docs/6448/2563056#de209743)。

* 元素动画：支持为视频、图片、文字等元素添加进入、退出或强调动画。 | |音频处理 |* 音量调节：支持调整音频素材的整体音量。

* 淡入淡出：支持在音频的开始或结尾创建平滑的音量淡入、淡出效果。 | |文字与字幕 |* 内容来源：支持直接传入文本内容，或使用 SRT/ASS 等标准字幕文件。

* 样式与花字：支持使用预设的花字资源，或自定义文字样式（字体、字号、颜色、背景、描边等）。

* 排版布局：支持自动换行、横向/纵向对齐，以及横向/竖向排版。 | ## 使用模式智能剪辑提供两种使用模式，您可以根据业务需求选择合适的方案。 ### 模式 1：直接生成该模式以 API 调用为核心，实现全自动化的视频生成。您只需提供媒体素材和描述剪辑目标的自然语言指令 (Prompt)，系统即可异步完成从意图理解、剪辑参数转换到云端合成的全过程，并直接返回最终的视频文件。 * 适用场景：后端服务驱动的自动化出片、批量化内容生产、集成至 AI Agent 或工作流引擎等无需人工干预的场景。 * 使用方式：通过调用提交智能剪辑任务 API 实现。未来将支持通过 Skill 接入对话式应用。 #### 准备工作 1. **获取访问凭证**：在开始之前，访问 AI MediaKit 控制台 [API Key 管理页面](https://console.volcengine.com/imp/ai-mediakit/settings)，创建并获取 **MediaKit API Key**（用于媒体处理功能鉴权）。 2. **准备素材文件**：确保您剪辑所需的所有媒体文件（视频、音频、图片）均已上传至公网可访问的服务器或[视频点播服务](https://www.volcengine.com/docs/4/2834?lang=zh)中，以获取可供 API 调用的 URL。 3. **进行跨服务授权**：智能剪辑工具会在剪辑过程中根据自然语言意图调用其他 AI MediaKit 工具以及剪辑合成工具完成最终成片。因此在首次调用本 API 前，您必须先在 AI MediaKit 控制台[基础配置 > 授权管理](https://console.volcengine.com/imp/ai-mediakit/settings?tab=authorization&projectName=default)页面，为 AI MediaKit 授予访问您 **IMP 智能处理**资源的权限。否则，任务将因无权限访问而失败。同一账号下只需授权一次，后续调用无需重复操作。 4. （可选）当您的剪辑指令包含需要理解视频内容的意图时（例如，识别特定物体、场景或行为并进行剪辑），智能剪辑工具可以依赖火山方舟视觉大模型进行内容分析。为确保任务正常执行，请在使用前完成以下准备工作： 1. 开通火山方舟大模型服务：请前往[火山方舟控制台](https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint)，确保您计划使用的模型服务已开通并可正常调用。 2. 进行跨服务授权：首次使用涉及视频理解的智能剪辑功能前，您需要为 AI MediaKit 授予访问您火山方舟资源的权限。请前往 AI MediaKit 控制台[基础配置 > 授权管理](https://console.volcengine.com/imp/ai-mediakit/settings?tab=authorization&projectName=default)页面，为 AI MediaKit 授予访问您 **AMK 火山方舟**资源的权限。 #### 操作流程 1. **提交智能剪辑任务**：调用[提交智能剪辑任务 API](https://docs.volcengine.com/docs/6448/2563056)，传入媒体素材 URL 和自然语言指令。成功后，您会获得一个用于查询的 `task_id`。您可以直接复制以下 cURL 命令，向 API 提交一个剪辑任务。该示例演示了如何将两段视频拼接，并添加背景音乐。 ```Bash curl -X POST 'https://mediakit.cn-beijing.volces.com/api/v1/tools/vibe-editing' \ -H 'Authorization: Bearer {Your_MediaKit_API_Key}' \ -H 'Content-Type: application/json' \ -d '{ "content": [ { "type": "text", "text": "先播放视频1，然后播放视频2，同时加上背景音乐。" }, { "type": "video_url", "video_url": { "url": "https://example.com/video_1.mp4" } }, { "type": "video_url", "video_url": { "url": "https://example.com/video_2.mp4" } }, { "type": "audio_url", "audio_url": { "url": "https://example.com/bgm.mp3" } } ], "output": { "resolution": "1080p" } }' ```

说明

将 {Your_MediaKit_API_Key} 替换为您的真实 API Key。

将示例中的 URL 替换为您自己公网可访问的媒体文件地址。

请求成功后，您会收到一个用于查询进度的 `task_id`，例如 `amk-tool-vibe-editing-123456789`。 2. **查询任务结果**：使用上一步获取的 `task_id`，通过轮询[查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) 直至任务状态（`status`）变为 `completed`。 ```Bash curl -X GET 'https://mediakit.cn-beijing.volces.com/api/v1/tasks/amk-tool-vibe-editing-123456789' \ -H 'Authorization: Bearer {Your_MediaKit_API_Key}' ``` 当任务成功完成后，您将收到如下响应。您可以在 `result.artifacts[0].url` 中找到最终产物的下载地址。 ```JSON { "success": true, "task_id": "amk-tool-vibe-editing-123456789", "status": "completed", "result": { "artifacts": [ { "operation": "synthesize", "type": "video", "url": "https://example.volcvideo.com/vibe_editing_output.mp4?auth_key=...", "duration": 42.5, "description": "拼接 video_1 与 video_2，并添加背景音乐。" } ] }, "created_at": 1777291767, "finished_at": 1777291851, "expires_at": 1777464650 } ``` ### 模式 2：预览剪辑该模式将 AI 的自动化能力与人工的精细化调整相结合，提供“人机协同”的剪辑体验。系统会先根据您的指令生成剪辑草稿，并提供一个可视化的剪辑界面。您可以在草稿基础上，通过追问进行多轮对话式修改，或直接在界面上进行拖拽、裁剪、预览等操作，实现“所见即所得”的精细调整。 * 适用场景：对成片质量、创意细节和最终效果有较高把控需求的场景，如内容创作平台、在线剪辑工具等。 * 使用方式： * 快速体验：您可直接登录 AI MediaKit 控制台进行在线体验。详情请参阅[快速体验](https://docs.volcengine.com/docs/6448/2549864#53bf3277)。 * 集成开发：您可以通过 Web 智能剪辑 SDK 将此交互式剪辑器无缝集成到自己的业务系统中。详情请参阅[Web 智能剪辑 SDK 集成指南](https://docs.volcengine.com/docs/6448/2692671)。 #### 快速体验您可以通过控制台快速了解和试用预览剪辑。 1. 前往 AI MediaKit 控制台[智能剪辑页面](https://console.volcengine.com/imp/ai-mediakit/vibe-editing)。 2. 在对话框中，您可以： ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/48eff27200b443a08ce95dbffd71962d) 1. **上传素材**：单击 ➕ 添加素材，上传您想要剪辑的视频、图片或音频文件。 2. **选择场景方案**：在对话框底部，您可以单击场景方案选择器，根据您的剪辑需求选择合适的预设场景方案（支持漫短剧粗剪、短剧高光、视频混剪 Vlog）。选定后，系统将按照该场景的预置指令和流程处理您的素材。 3. **选择大模型版本**：在场景方案旁边的模型选择器中，您可以自主选择所需的大模型版本（支持 Doubao\-Seed\-2.0\-pro、Doubao\-Seed\-2.0\-lite、Doubao\-Seed\-2.0\-mini 等模型），选定后系统在处理素材理解需求时将自动调用该模型。若没有模型，可前往方舟控制台创建。 4. **输入指令**：在对话框中，使用自然语言描述您的剪辑需求。您可以通过单击 @ 引用已经上传的素材。例如： * “将视频 1 和视频 2 拼接在一起。” * “为视频添加‘科幻’风格的背景音乐。” * “裁剪视频，只保留第 10 秒到第 30 秒的片段，并让人声更大一些。” * “剪辑出视频中的精彩片段。” 3. **预览与微调**：您通过自然语言在聊天框下达指令后，系统会进行智能剪辑。您可以单击左侧聊天框中的**剪辑产物**卡片，系统会自动在右侧展示剪辑轨道。可以通过以下步骤对成片效果进行预览、微调和导出。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/68ac9654f5b04985afacedc865f0308f) * **实时预览剪辑效果**：右侧上方的**播放器区域**支持所见即所得的实时预览。单击播放器下方的 ▶ 按钮，即可实时播放当前时间轴上的音视频与字幕组合效果。 * **在时间轴上精准微调**：如果 AI 生成的草稿细节需要调整，您可以在右侧下方的时间轴区域进行可视化微调： * 修改出现时间：在时间轴上，左键按住字幕块（紫色条）或视频块，左右拖拽即可改变它们在视频中出现的先后顺序。 * 调整时长：鼠标悬停在轨道元素（如文字轨道）的左右边缘，出现双向箭头时拖拽，即可精准调整该文字或视频的显示时长。 * 选中时间轴上的任意片段（如特定视频帧或字幕块），单击轨道上方快捷工具栏中的按钮进行分割/复制/粘贴/删除等操作。 * **编辑文字与样式**：在时间轴上双击紫色文字轨道，或在预览画面中直接双击文字框，即可修改文本内容。您也可以在播放器上方的导航栏切换到**文字**面板，调整字体大小和颜色。 * **添加转场、特效与滤镜**：在播放器上方的导航栏切换至**转场**、**特效**、**滤镜**等面板。选择合适的效果后，直接将其拖拽应用到下方的视频轨道之间或对应时间段上。 4. 导出视频：确认微调无误后，单击编辑器右上角的**下载**按钮发起云端渲染合成。您也可以在左侧对话框中继续输入 *"直接导出视频"* 指令，AI 会自动提交渲染。 5. 下载产物：合成完成后，单击左侧聊天框剪辑产物卡片右侧的**下载**按钮即可获取和保存最终的成片。 ## 计费说明智能剪辑方案包含两个核心工具。整体计费基于底层合成工具的实际使用量。 * 智能剪辑 `vibe-editing`：通过大语言模型（LLM）进行意图识别，将您的自然语言剪辑意图转换为精确的剪辑参数，然后调用“智能剪辑合成”工具来提交具体的合成任务。该工具本身及其依赖的 LLM 服务，**目前不计费**。 * 智能剪辑合成 `vibe-editing-common`：作为底层的多轨道剪辑合成服务，负责执行视频、音频、图像、文字、转场、特效等所有元素的云端渲染与合成工作。该工具由“智能剪辑”工具自动调用，**不支持您单独调用**，按最终成功合成的产物时长收费，计费单元为 **“剪辑工具\-基础剪辑\-计费时长”** 。详细的计费规则，请参阅[剪辑工具计费](https://docs.volcengine.com/docs/6448/2486459)。

说明

当您的剪辑指令涉及视频内容理解时（例如“提取所有猫出现的镜头”、“找到所有户外场景”等），系统会调用火山方舟视觉大模型，并因此产生火山方舟大模型调用费。该费用由火山方舟收取，按模型调用过程中实际消耗的 Token 数量计费。关于不同模型的 Token 计费标准，请查阅火山方舟服务的最新官方定价说明。

## Prompt 示例您可以参考以下示例来构建您的剪辑指令。请注意，在实际调用 API 或使用控制台时，您需要通过 `@` 或其他方式指定指令中涉及的具体素材文件。 |能力分类 |Prompt 指令示例 | |---|---| |视频内容理解 |* “识别视频中精彩片段，如强冲突、强情绪，并剪辑为一个新视频。”

* “识别视频中女主出现的时间段，并剪辑为一个新视频。”

* “从会议视频中剪辑出关于 agent 讨论的主题片段。”

* “识别视频中暴力血腥场景，并对出现的时间点和画面位置进行高斯模糊处理。” | |基础操作 |* “把 `视频1` 的第 5 秒到第 20 秒截取出来。”

* “将 `视频2` 的播放速度提高一倍。”

* “将 `视频1` 的画面裁剪成 9:16 的竖屏比例。” | |视觉效果 |* “在 `视频1` 和 `视频2` 之间添加一个【闪烁】转场。”

* “为 `视频1` 添加【信号故障】特效。”

* “让 `视频1` 的画面亮度再高一点，对比度也增强一些。”

* “为 `图片1` 添加一个从左侧飞入的动画效果。” | |音频处理 |* “把 `背景音乐` 的音量调低 50%。”

* “让 `视频1` 的音乐在结尾处慢慢淡出。” | |文字字幕 |* “在视频开头添加白色字‘AI 创作’，持续 3 秒。”

* “使用 `字幕文件.srt` 为视频添加字幕。” | |多能力组合 |* “先播放 `视频1`，然后播放 `视频2`，同时将 `背景音乐` 作为 BGM 铺在整个视频底下，注意把 BGM 音量调小一点。”

* “将 `视频1` 裁剪为 9:16 的竖屏，并把它的饱和度调高，然后把 `@logo.png` 放在视频的右上角。”

* “把 `视频1` 的第 10 秒到第 15 秒片段和 `视频2` 的第 30 秒到第 35 秒片段拼接起来，在两个片段中间加一个转场，最后在视频底部加上一行黑色字幕，内容是‘精彩瞬间’。” | ## 相关 API * [提交智能剪辑任务 API](https://docs.volcengine.com/docs/6448/2563056) * [查询任务信息 API](https://docs.volcengine.com/docs/6448/2278532) * [事件回调](https://docs.volcengine.com/docs/6448/2288701)