| | |
| - 人声背景音分离工具：新增 Game（游戏）场景，支持将音频分离为人声、音乐、音效三轨。
- 新增深度动作捕捉工具：逐帧估计视频的相对空间深度，输出时间连续的 HEVC 深度视频，可用于 AI 视频动作参考、角色替换、运镜控制及三维与特效预处理。
| |
| 新增 HyperFrames 云端渲染工具：支持将使用 HTML、CSS 和 JavaScript 编写的动画工程打包为 ZIP 后，在云端逐帧渲染并编码为视频。可按需设置输出格式、帧率、码率和渲染质量，并支持输出透明背景。 | |
| 字幕擦除（精细化版）工具：model_version 参数新增 v5.6 取值，支持 V5.6 擦除算法，可有效缓解擦除后的闪烁、水波纹问题，并在中英文之外新增对西班牙语、韩语、泰语、印尼语、越南语、日语、葡萄牙语、德语、法语等多语种字幕的擦除支持。 | |
| 新增视频流畅度提升工具：自动检测并修复视频中的周期性卡顿与重复帧问题，尤其适用于改善 AI 生成视频的运动流畅度。 | |
| 新增音频内容编辑工具：基于用户使用自然语言描述的修改诉求，自动定位目标语句，生成与上下文自然连贯的新语音并无缝替换，同时保持音色、情绪、韵律和时序基本一致。 | |
| - 智能语义切片（专业版）：结合镜头边界、场景语义、ASR/OCR 文本和时长约束，将长视频切成语义完整、时长合适的片段，支持短剧、影视剧、小游戏和自定义策略。
- 剧本还原（重绘场景）：通过分析多集短剧视频，输出可复用的角色、场景、预处理结果与逐集剧情分镜剧本。
- 新增 voice_language 参数，支持指定视频中的语音语言（用于 ASR 语音识别），不传或留空时自动检测。
- 新增 output_language 参数，支持指定输出结果的语言。
- 画质增强（大模型版）工具：输出分辨率新增 4k 档位。
- 新增 codec 参数（仅专业版），支持 h264、h265、prores、ffv1、exr 编码，需与 bit_depth 合法组合使用。
- 字幕擦除（精细化版）工具：time_segment_filter 在 selected 模式下支持为每个时间段通过 erase_ratio_location 单独指定擦除区域，实现不同时间段擦除不同位置的精细化控制。
- 语音转字幕（ASR）工具：language 参数新增 spa-ES（西班牙语）与 ind-ID（印尼语）两个语种。
| |
| 发布 Web 智能剪辑 SDK：提供一站式智能剪辑解决方案，将 AI 助手与剪辑器无缝整合。开发者可在业务页面中快速嵌入 AI 驱动的视频创作工具，实现从素材管理、智能编排到高清导出的全链路剪辑流程。 | |
| 新增视频横转竖工具：支持将横版视频智能转换为竖版（默认 9:16）成片。 | |
| - 图像擦除修复工具：新增 selected_area_erase 场景，支持通过 selected_area（矩形坐标框）或 mask_url（遮罩图）参数指定任意形状的擦除区域。
- 新增多轨道剪辑工具：支持通过 API 以声明式方式描述剪辑意图，实现视频、音频、图片、文字、字幕等多轨道内容的自动化合成，并支持转场、滤镜、动画等丰富的视觉效果。
| |
| - 新增大模型高光剪辑工具：依托火山方舟大模型的视觉理解与文本推理能力，可从一个或多个输入视频中，按场景预设、评分标准或故事目标智能识别精彩片段，自动挑选、裁剪并拼接成一个或多个指定时长的高光成片。
- 发布 Web 剪辑 SDK：提供一站式 Web 剪辑 SDK，将编辑器界面、素材管理、轨道编辑、特效渲染和视频导出封装在一个包中，帮助开发者在业务页面中快速嵌入完整的剪辑能力。
| |
| - 新增图像暗水印添加和提取工具：支持为图片写入不可见水印信息并从图片中还原提取，适用于版权保护、AIGC 内容标记、传播溯源与搬运取证等场景。
- 新增 enable_correct_color 参数用于控制是否开启色彩校正。
- 新增 generative_enhance_mode 参数用于选择生成式增强模式，支持 generative_first（生成度优先）与 fidelity_first（保真度优先）。
| |
| - 新增添加 AIGC 元数据标识工具：支持将 AI 生成属性、服务提供者、内容 ID 等标识写入视频、图片或音频的元数据中，以满足合规性要求并支持内容溯源。
- 新增视频视频口型对齐工具：基于一段人物视频和一段驱动音频，可生成口型与音频精准同步、表情生动的口播视频。适用于视频翻译配音、数字人播报等场景。
- 视频加字幕工具：新增 subtitle_text_effect 参数，支持为字幕应用描边、阴影、渐变等预设花字样式，提升视觉表现力。
| |
| - 新增 API 限流机制：为保障服务稳定性，AI MediaKit 对 API 调用增加了限流机制，具体如下：
- 异步任务：所有异步工具共享账号维度的全局 QPS 限制（默认为 40 QPS）。
- 同步任务：各同步工具实行独立的 QPS 限制，不同工具间的调用互不影响。
- 画质增强（标准版和专业版）工具：请求参数 bit_depth 位深新增 16（16-bit）选项。
| |
| 视频理解拓展工具：对话 Chat API 新增 time_clips 参数，支持按指定时间段进行视频分析。您可传入一个或多个时间片段，引导模型仅分析视频中的关键部分。 | |
| 人声背景音分离工具：新增 scene 参数支持按场景精细化分离。对于短剧和口播场景，可将音频分离为人声、音乐、音效三轨。通用及音乐场景继续保持人声、背景音两轨输出。 | |
| - 新增视频插帧工具：基于深度学习的智能补帧能力，在相邻视频帧之间智能生成过渡帧，将视频提升至指定的目标帧率，改善低帧率、快速运动、大屏播放等场景下的卡顿与画面不连贯问题。
- 标准版和专业版：新增 enhance_style 参数，支持 hd（高清，默认，锐利清晰）与 natural（自然，降低增强强度、锐化痕迹更少、观感更自然）两种增强风格。
- 标准版、专业版、极速版、大模型版：均新增 bitrate 参数，支持以精确码率值指定输出码率。同时优化了 bitrate_level 各档位结合分辨率与帧率的码率取值。
- 图像文字识别（OCR）工具新增加强版：新增 tool_version 参数支持指定加强版。相比于标准版，识别精准度更高，且适用范围更为广泛，具体说明如下：
- 处理产物存储至 TOS 功能优化：在将处理产物存储至火山引擎对象存储（TOS）时，现支持通过 media_output_destination 参数指定桶内目录（例如 tos://<桶名>/<目录>），从而将任务产物保存到指定路径下。
| |
| - 新增 background_color 入参，用于在 format 为 MP4 时指定背景颜色，支持 black/white/green。
- 新增 resolution 出参，返回输出视频分辨率档位。
- 视频添加运镜工具：新增 start_time、end_time 参数，支持对指定时间段叠加运镜特效。
- 新增 scene 参数，支持传入 editing 指定分析场景为创作剪辑场景。模型会侧重于理解并输出带有精确时间戳的详细分镜信息，适用于分镜理解、智能剪辑、二次 AIGC 创作等下游任务。
- manual_option 中新增 fps 参数，支持按指定帧率进行抽帧。
| |
| 支持火山引擎通用 API Key：AI MediaKit 现已兼容火山引擎通用的 API Key。您可前往访问控制 (IAM) 控制台创建和管理通用 API Key。现有的 AI MediaKit 专用 API Key 仍可继续使用。 | |
| 字幕擦除（精细化版）工具能力升级：支持 V5 版擦除算法（通过 model_version: 'v5' 指定）。相比 V4，新版算法优化了 AIGC 视频的闪烁问题、带阴影字幕的擦除效果和误擦问题，并提升了处理速度。 | |
| - 新增 1 个音频工具：支持语音端点识别，可精准定位音频或视频中的有效人声片段。
| |
| 支持处理产物自动存储至 VOD 或 TOS：用户只需在提交任务时，通过 media_output_destination 参数指定用户的火山引擎视频点播（VOD）空间或对象存储（TOS）桶作为输出目标。任务完成后，处理产物就会被自动存储至用户自己的存储服务中。 | |
| 新增 2 个视频工具：支持视频人脸融合（换脸）和智能语义切片。 | |
| - 人声背景音分离工具：新增 output_format 参数，支持自定义分离后音频的格式。
- 高光智剪（短剧）工具：新增 enable_segment_tag 参数，设为 true 时系统会在 result.mixvideo_info.clips 与 result.storyboard_info 中额外返回 tags 标签字段，可用于内容检索与推荐、Agent/开发者基于片段标签灵活进行二次创编等场景。
| |
| - 新增 1 个视频工具：支持视频理解智能策略，基于火山方舟视觉大模型，接收用户输入的视频和自然语言指令，并根据视频时长、指令内容和用户指定的偏好，自动决策最优的分析链路，输出结构化理解结果。
- 输入分辨率支持 720p 和 1080p。具体规格要求：短边范围：[360,1080]；长边范围：[360,1920]。
- 支持传入 Prompt 通过自然语言精细化引导混剪模式下的高光选取。
- 新增 user_preferred_segments 参数用于指定优先采纳的原片片段。
- 新增 video_ending_mode 参数控制视频结尾取材模式。
| |
| 新增 4 个剪辑工具：支持视频画面旋转、视频画面裁剪、视频画面拼接、文字滚屏。 | |
| 支持资源包：推出多媒体处理资源包，相比按量付费提供更多价格优惠。资源包支持抵扣多种剪辑、视频、音频、图像工具的用量，系统会根据各工具的抵扣系数自动换算并扣除额度。 | |
| 支持多源媒体输入与本地上传：为适配不同业务架构，AI MediaKit 现已支持四种媒体输入方式：公网 URL、本地文件上传（mediakit://）、火山引擎视频点播（vod://）和对象存储（tos://）。新增获取媒体上传地址 API 用于支持本地文件上传。 | |
| - 图像画质增强新增大模型增强版：基于生成式大模型，补充更真实、自然的纹理细节，画质提升效果优于专业版。同时提升了输入图像的分辨率上限（长边可达 6240 px）。
| |
| 发布 AI MediaKit CLI 与 Agent Skill： - AI MediaKit CLI：官方命令行工具（mediakit-cli）将原子能力封装为标准命令。支持云端处理与本地轻量剪辑双模式，实现端云协同的自动化工作流。
- AI MediaKit Skill：基于 mediakit-cli 的 Agent Skill 工具包，允许 Agent 通过自然语言调用 mediakit-cli 的全部能力，完成复杂的音视频任务编排。
| |
| - 新增 2 个视频工具：支持高光智剪-影视拆条、解说视频生成（短剧行业模型）。
- 新增 3 个图像工具：支持图像翻译、电商万创、电商牛皮癣擦除。
| |
| 支持项目与队列管理功能： - 支持通过项目（Project）实现多业务、多环境的资源隔离与成本分摊。
- 支持通过队列（Queue）将 API 任务绑定至特定项目，实现按客户或业务的独立计量计费。
| |
| - 新增 7 个视频工具：支持添加/提取视频暗水印、视频抽帧、视频画质检测（VQScore）、视频转码、视频转封装、极智超清。
- 新增 5 个图像工具：支持图像负片、图像裁剪、图像压缩、集智瘦身、添加图文水印。
| |
| - 新增 3 个视频工具：支持剧本还原、解说视频生成和画质增强（极速版）。
- 新增 7 个图像工具：支持图像打码、图像高斯模糊、图像缩放、图像调整、添加图文水印、圆角矩形、获取图像元信息。
| |
| - 新增 2 个剪辑工具：支持视频高斯模糊和视频截取动图。
- 新增 5 个图像工具：支持智能扩图、图像智能裁剪、图像旋转、图像翻转、图像锐化。
| |
| - 新增 4 个剪辑工具：支持视频声音淡入淡出、音频声音淡入淡出、调整视频音量和视频添加滤镜。
| |
| - 新增 4 个视频工具：支持视频绿幕抠图、视频人像抠图、视频元信息获取、剧情故事线分析。
- 新增 4 个图像工具：支持图像画质增强、图像背景移除、图像画质评估和图像文字识别 OCR。
| |
| - 新增 6 个视频工具：支持场景切分、语音转字幕 ASR、视频识别字幕 OCR、高光智剪-短剧、高光智剪-小游戏、高光片段提取。
- 字幕擦除新增标准版：与精细化版相比，标准版价格更低，但在处理复杂的衣物纹理背景时，原字幕区域可能会出现模糊或细节丢失的情况。
| |
| - 新增字幕擦除（精细化版）工具：针对视频里的字幕，提供精细化的检测与擦除能力，实现高质量的无痕擦除，最大程度地还原视频画面。
- 新增 4 个基础剪辑工具：支持视频画面翻转、视频调速、视频加字幕、视频加图片。
| |
| 服务域名变更：AI MediaKit 官方服务域名由 amk.cn-beijing.volces.com 变更为 mediakit.cn-beijing.volces.com。原有域名将临时保留访问能力，为适配后续服务迭代与统一接入规范，建议您尽早迁移至新域名。 注意 对话 Chat API（用于视频理解）域名保持不变，依然为 amk-ark.cn-beijing.volces.com。 | |
| - 新增画质增强工具：内置包含智能超分、智能插帧、画面增强、自适应锐化、色彩增强等 30+ 高质量原子算法的完备算子库，搭配视频内容理解与智能画质决策能力，可根据场景自动择优调用，全方位优化提升视频画质。
- 新增多个基础剪辑工具：支持音视频拼接、音视频裁剪、音视频合成、音频提取、图片转视频。
| |
| 通用任务查询 & 事件回调：支持通过 API 查询异步任务信息，并支持配置事件回调以接收任务结果。 | |
| 新增视频理解扩展工具：支持对大视频文件使用视觉大模型进行理解，提供高效、精准的视频内容解析能力。支持最高 5 GB 视频 URL 传入。 | |
AI MediaKit
复制全文
下载 pdf
文档反馈
问问助手