AI 数据湖服务
AI 数据湖服务
算子广场
请输入
- 文档首页
AI 数据湖服务视频内容创作视频分镜
复制全文
下载 pdf视频分镜
文档反馈
问问助手视频分镜算子基于多模态大模型对输入视频进行镜头/场景切分、全局角色识别、场景级人物关联以及人物参考图筛选。即使某个角色没有合格的参考图，算子仍会保留角色事实与场景关联，便于后续检索、剪辑和内容理解。
算子介绍
算子 ID：las_video_scene_seg
核心能力
- 支持基于 VLM 的场景切分，也支持 min_segment_duration == max_segment_duration 时的等时长切分。
- 支持全局角色提取与去重聚合，生成角色注册表。
- 支持场景内人物关联，输出人物 ID、展示名和可用的 bbox；内部出现时间区间和候选关键帧不作为公开结果合同。
- 支持自动切出每个场景的独立视频文件。
- 支持为每个角色抽取并筛选代表性图片；没有合格参考图时保留角色并标记其参考图状态，不为凑数保留身份不符或看不清脸的图片。
- 支持输出 token 用量与 LLM 请求次数，便于评估成本。
效果展示
【输入视频与输出分镜视频】
- 输入视频
-
Replay Play00:00 / 02:20 Live 00:00FullscreenCssfullscreenClick and hold to drag
- 输出分镜视频：示例1
-
Replay Play00:00 / 00:08 Live 00:00FullscreenCssfullscreenClick and hold to drag
- 输出分镜视频：示例2
-
Replay Play00:00 / 00:05 Live 00:00FullscreenCssfullscreenClick and hold to drag
- 输出分镜视频：示例3
-
Replay Play00:00 / 00:07 Live 00:00FullscreenCssfullscreenClick and hold to drag
【输出人物角色图】
- 人物角色1
-
-
-
- 人物角色2
-
-
-
- 场景分镜图
- 酒店走廊
-
- 指挥中心
-
- 住宅玄关
-
- 道具图
- 单肩包
-
- 对讲机
-
- 智能手机
-
以上为部分产出物的示意结果。
【分镜结果文件、各类注册表】
- 分镜结果
- 人物注册表
- 分镜注册表
- 场景注册表
- 道具注册表
说明：视频分镜算子持续迭代中，以上各类结果文件仅作为示例，实际输出的各个文件字段，以算子输出结果为准。
支持的地域
- 北京：cn-beijing
- 上海：cn-shanghai
- 广州：cn-guangzhou
算子性能
细分项 | 性能影响说明 |
最大 RPM | 600 |
最大并发数 | 10 |
耗时 |
|
输入与输出要求
输入要求
输出要求
计费说明
- 计费标准
-
- 细分项计费标准说明计费项基于输入视频的时长统计用量进行计费。计费类型按量计费，单位：元/分钟，按实际的计费用量每小时出账。计费精度：毫秒级精度，四舍五入单价1.5 元/分钟
- 计费详情
- 计费公式：总费用 = 单价 * 用量
注意与前提
Rest API 调用
API 调用说明
- 本算子的 API 为异步任务接口，您需要通过 Submit 接口提交任务获得任务的 task_id，再通过 Poll 接口获取对应任务（task_id）运行状态，并获取算子处理结果。
- 注意，任务提交后，任务的 task_id 有效期为 3 天，超过 3 天后即无法通过此 task_id 来获取算子处理结果。
Submit
接口说明
调用视频分镜算子提交异步任务，支持场景切分、人物提取、场景切片和结果上传。
提交成功仅表示任务已受理，并返回 task_id 和 task_status=PENDING。视频处理失败通过 Poll 的 metadata.business_code 和 error_msg 返回。
请求参数
operator_id string 必选 示例值: las_video_scene_seg
算子 ID
operator_version string 必选 示例值: v1
算子版本
data VideoSceneSegUserReqParams 必选
视频场景切分与人物定位请求参数
video_url string/array of string 必选 示例值: https://example/sample_video.mp4
单个视频地址或非空的视频地址数组。支持 http/https、tos://bucket/key；多视频结果分别保留各自的源时间线。
output_tos_path string 必选 示例值: tos://bucket/output/
当前账号拥有且与任务同地域的可写 TOS 输出目录。算子会在该目录下创建任务子目录并写入结果。
min_segment_duration float Optional 示例值: 4.0
单个场景最小时长（秒），默认 4.0，范围 1.0 ~ 100.0。有效边界须满足 min_segment_duration <= max_segment_duration。等时切分会把短尾段合并到前一段；视频短于最小值或边界无法在帧网格上满足时，任务以 Parameter.Invalid 失败。
max_segment_duration float Optional 示例值: 10.0
单个场景最大时长（秒），默认 10.0，范围 1.0 ~ 100.0。最小值与最大值相等时采用等时长切分；短尾段合并后，仅最后一段可能超过最大值，结尾不会补帧或丢帧。例如，将 24.08 秒的视频按 7 秒等时切分时，输出 0–7、7–14、14–24.08 秒三段。
seg_mode string Optional 示例值: precise
场景切分模式，默认 precise。precise 按场景或镜头做更细粒度切分，rough 聚合较大的叙事单元；两种模式都不保证固定分镜数。
output_language string Optional 示例值: zh
生成描述和素材展示名的语言，可选 zh（默认）或 en。ID、时间和 URL 不变，原声对白不翻译。
callback Callback Optional
任务状态回调配置。配置 callback.url 后，任务状态变化时会向该地址发送 POST 请求；不配置时可通过 Poll 查询任务状态和结果。
url string 必选 示例值: https://example.com/callback
回调地址。默认仅支持公网可访问的 HTTPS 地址。
返回数据
metadata metadata
请求元信息
task_id string 示例值: task-xxx
异步模式下的任务 ID，用于作业状态查询。
task_status string 示例值: PENDING
异步模式下的任务状态。
- PENDING, 接收请求
- RUNNING, 正在运行
- COMPLETED, 已完成
- FAILED, 失败
- TIMEOUT, 超时
business_code string 示例值: 0
业务码；非 0 时请读取 error_msg，并以 task_status 判断任务是否完成。
error_msg string
失败原因和处理建议，成功时为空。
示例
请求示例
返回示例
错误码
HttpStatusCode | 错误码 | 错误信息 | 描述 |
400 | Parameter.Invalid | The parameter is invalid. | 请求参数格式或取值不合法，或缺少必填输出目录。 |
400 | Operator.InvalidId | The operator is invalid. | 算子 ID 不合法。 |
400 | Operator.InvalidVersion | The operator version is invalid. | 算子版本不合法。 |
401 | Authorization.Missing | Missing Authorization. | 缺少鉴权。 |
401 | ApiKey.Invalid | The api key is invalid. | API Key 不合法。 |
500 | Server.InternalError | 任务提交失败，请稍后重试 | 提交失败；请检查返回的任务状态与业务码后再决定是否重试。 |
Poll
接口说明
查询视频分镜任务的执行状态和结果。
Poll 返回 HTTP 200 仅表示查询成功，不表示视频处理成功。请检查 metadata.task_status：COMPLETED 表示处理完成，FAILED 或 TIMEOUT 表示失败或超时，原因见 business_code 和 error_msg。仅缺少合格人物参考图不会导致任务失败。
请求参数
返回数据
metadata metadata
请求元信息
task_id string 示例值: task-xxx
异步模式下的任务 ID。
task_status string 示例值: COMPLETED
异步模式下的任务状态。
- PENDING, 提交任务排队
- RUNNING, 正在运行
- COMPLETED, 已完成
- FAILED, 失败
- TIMEOUT, 超时
submit_time string 示例值: 2026-07-21T16:04:06+08:00
任务提交时间，格式为 ISO 8601 时间戳。
end_time string 示例值: 2026-07-21T16:04:06+08:00
任务结束时间，格式为 ISO 8601 时间戳。
business_code string 示例值: 0
业务码；非 0 时请读取 error_msg，并以 task_status 判断任务是否完成。
error_msg string
失败原因和处理建议，成功时为空。
data VideoSceneSegResponse
任务完成时返回汇总与结果文件地址；任务未完成或失败时，可能缺失或只包含值为 0 的汇总字段。
video_duration float 示例值: 98.4
输入视频总时长（秒）。
segment_count integer 示例值: 12
切分出的场景数量。
character_count integer 示例值: 5
识别出的全局人物数量。
segments_url string 示例值: tos://bucket/output/<run_id>/segments.json
output_tos_path 下的场景结果 JSON 地址。单视频为分镜数组；多视频为含 episodes 的对象，每个 episode 包含 segments。下载该文件读取下述分镜字段。
characters_registry_url string 示例值: tos://bucket/output/<run_id>/characters_registry.json
人物注册表 JSON 地址；没有识别出人物时可不返回。没有合格参考图的人物仍保留在注册表中，并标记为需要新图片；每张参考图通过 character_image_id / image_id 标识，地址位于 image_path。
prop_registry_url string 示例值: tos://bucket/output/<run_id>/prop_registry.json
道具注册表 JSON 地址；没有带有效参考图的对应素材时可为空或不返回。
scene_registry_url string 示例值: tos://bucket/output/<run_id>/scene_registry.json
场景注册表 JSON 地址；没有带有效参考图的对应素材时可为空或不返回。
shot_registry_url string 示例值: tos://bucket/output/<run_id>/shot_registry.json
分镜脚本注册表 JSON 地址。多视频结果按 episode 包裹，使用 global_segment_id 区分不同视频的同名分镜。
storyboard_bundle_url string 示例值: tos://bucket/output/<run_id>/storyboard_bundle_manifest.json
标准 storyboard_bundle_v2 manifest 地址；storage_mode=split，按实际存在的 segments、shots、characters、scenes、props 文件读取。
resolution string 示例值: 1920x1080
实测源视频分辨率；无法取得时可不返回。
segments_url 指向文件中的场景对象结构如下；这些字段不直接内联在 Poll 响应中。
segments list of Segment
场景列表。多视频时位于各 episodes 对象内。
segment_id string 示例值: scene_001
视频内场景 ID；不同视频可以重复。
global_segment_id string 示例值: ep_001_scene_001
多视频全局分镜 ID，用于跨视频关联结果。
episode_id string 示例值: ep_001
多视频来源标识。
episode_index integer 示例值: 1
多视频来源顺序，从 1 开始。
start_time float 示例值: 0.0
当前源视频内的开始时间，单位秒，包含该时刻对应帧。
end_time float 示例值: 4.0
当前源视频内的结束时间，单位秒，不包含该时刻对应帧。
duration float 示例值: 4.0
分镜实际时长，保留小数；等时切分合并短尾段后，最后一段可能超过最大时长参数。
scene_type string
场景类型或简短标签。
description string
场景描述。
video_path string
场景裁片地址；导出或上传失败时可为空，不能仅凭任务完成就假定所有裁片均可下载。
characters list of SegmentCharacterInfo
当前场景内的人物。
character_id string
对应全局人物注册表的 ID；未绑定时可为空。
alias string
人物展示名，语言与 output_language 一致。
bbox list of integer 示例值: [120,80,720,980]
人物定位框，格式为 [xmin, ymin, xmax, ymax]，以源画面左上角为原点，使用 0～1000 坐标。换算像素时，x 坐标乘以画面宽度/1000，y 坐标乘以画面高度/1000。
characters_registry_url 指向文件中的公开结构如下。
characters list of CharacterRegistryItem
全局人物注册表。
character_id string
用于关联分镜中人物引用的人物标识。
alias string
人物主别名。
description string
人物描述。
category string
人物类别，例如男、女、男童或女童。
scene_count integer
出现的场景数。
appeared_segments list of string
出现过的场景 ID。
total_duration float
累计出现时长，单位秒。
character_images list of object
已筛选人物参考图；可少于 3 张或为空，不为凑数保留身份不符或看不清脸的图片。人物没有合格参考图时仍保留人物事实及分镜关联，并返回 character_images=[]、reference_status=pending、needs_new_reference_image=true。此时分镜分析和逆推可继续；需要人物一致性的生成应先补充参考图。
reference_status string
参考图状态：active 表示存在合格图片，pending 表示需要新图片，stale 表示先前图片已失效。
needs_new_reference_image boolean
是否需要新的人物参考图。为 true 时分析结果仍可使用，但需要人物一致性的后续生成应先补充图片。
reference_stale_reason string
参考图待补充或失效的原因；不适用时为空。
aliases list of string
合并后的别名列表。
total_count integer
全局人物总数。
version string
结果版本号。
video_duration float
视频总时长，单位秒。
total_frames integer
处理时使用的总帧数。
示例
请求示例
返回示例
错误码
最近更新时间：2026.11.05 11:46:59
这个页面对您有帮助吗？
有用
有用
无用
无用