You need to enable JavaScript to run this app.
文档中心
AI 数据湖服务

AI 数据湖服务

复制全文
下载 pdf
视频分析
视频分镜
复制全文
下载 pdf
视频分镜

视频分镜算子,基于多模态大模型对输入视频进行镜头/场景切分、全局角色识别、场景级人物关联以及人物图片抽取。算子会输出场景汇总结果、人物注册表、每个场景的切片视频,以及按人物归档的图片文件,便于后续检索、剪辑和内容理解。

算子介绍

算子 ID:las_video_scene_seg

核心能力

  • 支持基于 VLM 的场景切分,也支持 min_segment_duration == max_segment_duration 时的等时长切分。
  • 支持全局角色提取与去重聚合,生成角色注册表。
  • 支持场景内人物关联,输出人物在场景中的出现时间区间、关键帧时间点与 bbox 信息。
  • 支持自动切出每个场景的独立视频文件。
  • 支持为每个角色抽取并筛选代表性图片,按人物归档输出。
  • 支持输出 token 用量与 LLM 请求次数,便于评估成本。

效果展示


【输入视频与输出分镜视频】
  • 输入视频
  • 输出分镜视频:示例1
  • 输出分镜视频:示例2
  • 输出分镜视频:示例3

【输出人物角色图】
  • 人物角色1
    Image
    Image
    Image
  • 人物角色2
    Image
    Image
    Image
  • 场景分镜图
    • 酒店走廊
      Image
    • 指挥中心
      Image
    • 住宅玄关
      Image
  • 道具图
    • 单肩包
      Image
    • 对讲机
      Image
    • 智能手机
      Image

以上为部分产出物的示意结果。


【分镜结果文件、各类注册表】
  • 分镜结果
    segments.json
    未知大小
  • 人物注册表
    characters_registry.json
    未知大小
  • 分镜注册表
    shot_registry.json
    未知大小
  • 场景注册表
    scene_registry.json
    未知大小
  • 道具注册表
    prop_registry.json
    未知大小

支持的地域

  • 北京:cn-beijing
  • 上海:cn-shanghai
  • 广州:cn-guangzhou

算子性能

细分项
性能影响说明

耗时

  • 总耗时主要受视频时长、抽帧帧率、角色数量、场景数量和 VLM 调用次数影响。
  • 算子依赖 VLM 调用,视频越长、角色越多、场景越复杂,整体耗时越高。

输入与输出要求

输入要求

细分

详细要求

支持的输入数据模态

  • 视频

输入格式:视频

  • 大小:当前版本视频时长限制在20分钟内。

输入路径要求

通过请求参数 video_urlreference_images提供给算子输入数据,当前支持公网 URL、TOS 路径这两种方式。

  • 公网 URL:公网可访问的 URL,格式为 http/https
    • 公网 URL 不支持需要登录态或额外 Header 鉴权的地址;临时 URL 需在任务执行期间有效。
  • TOS 路径:将待处理数据上传至与当前 LAS 服务同主账号、同地域的 TOS Bucket后,可提供 TOS 路径,格式为tos://bucket_name/demo
    • TOS 对象需存在且具备读取权限。

输出要求

细分

详细要求

输出数据模态

  • 视频(分镜视频切片)
  • 文本(人物注册表
  • 图片(分镜截图、角色代表图

输出路径:TOS

通过请求参数output_tos_path 指定算子输出结果的存储路径,当前支持设置为 TOS 路径。

  • TOS 路径:与LAS服务同主账号、同地域下,有可写权限的 TOS Bucket 目录,格式:tos://bucket/output/

计费说明
  • 计费标准

    细分项
    计费标准说明

    计费项

    基于输入视频的时长统计用量进行计费。

    计费类型

    按量计费,单位:元/分钟,按实际的计费用量每小时出账。

    单价

    1.5 元/分钟

  • 计费详情
    计费公式:总费用 = 单价 * 用量

注意与前提

细分项

注意与前提

开通 LAS

  • 如果您是一个全新的火山引擎用户,此前未开通过 LAS 产品,您可先开通 LAS,不使用 LAS 的计费功能仅开通 LAS 产品不会产生费用。开通操作请参见准备工作
  • 开通完成后可查看算子介绍文档,了解算子能力、上手引导等,详情可参见:LAS 智能数据处理算子

费用

调用算子前,您需先了解使用算子时的模型调用费用,详情请参见大模型调用计费

鉴权(API Key)

调用算子前,您需要先生成算子调用的API Key,并建议将API Key配置为环境变量,便于更安全地调用算子,详情请参见获取 API Key 并配置

BaseURL

调用算子前,您需要先根据您当前使用的LAS服务所在地域,了解算子调用的BaseURL,用于配置算子调用路径参数取值。
详情请参见获取 Base URL,下文中的调用示例仅作为参考,实际调用时需替换为您对应地域的路径取值。

Rest API 调用

Submit

接口说明

调用视频分镜算子提交异步任务,支持场景切分、人物提取、场景切片和结果上传。

请求参数

参数
类型
是否必填
示例值
描述
operator_id
string
las_video_scene_seg
算子 ID
operator_version
string
v1
算子版本
data
VideoSceneSegUserReqParams
视频场景切分与人物定位请求参数
video_url
string/array
https://example/sample_video.mp4
输入视频地址。支持 http/httpstos://bucket/key
output_tos_path
string
tos://bucket/output/
输出根目录。算子会在该目录下自动追加任务相关子目录,上传 JSON、场景视频和人物图片。
min_segment_duration
float
4.0
单个场景最小时长(秒),默认 4.0,范围 1.0 ~ 100.0
max_segment_duration
float
10.0
单个场景最大时长(秒),默认 10.0,范围 1.0 ~ 100.0
seg_mode
string
precise
场景切分模式。可选值:preciserough

返回数据

参数
类型
示例值
描述
metadata
metadata
请求元信息
task_id
string
task-xxx
异步模式下的任务 ID,用于作业状态查询。
task_status
string
PENDING
异步模式下的任务状态。
  • PENDING, 接收请求
  • RUNNING, 正在运行
  • COMPLETED, 已完成
  • FAILED, 失败
  • TIMEOUT, 超时
business_code
string
0
业务码。
error_msg
string
如有异常,会返回详细错误信息。

示例

请求示例

# 请将 OUTPUT_TOS_PATH 设置为本账号上可写入的 tos 路径
export OUTPUT_TOS_PATH="tos://path/to/scene_seg_results"

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/submit" --header "Content-Type: application/json" --header "Authorization: Bearer $LAS_API_KEY" --data '{
    "operator_id": "las_video_scene_seg",
    "operator_version": "v1",
    "data": {
        "video_url": "https://las-ai-qa-online.tos-cn-beijing.volces.com/operator_cards_serving/public/qa/las_video_scene_seg/v1/sample_video.mp4",
        "output_tos_path": "$OUTPUT_TOS_PATH",
        "min_segment_duration": 4.0,
        "max_segment_duration": 10.0,
        "seg_mode": "precise"
    }
}'

返回示例

{
    "metadata": {
        "task_id": "task-20260323153012-abc123",
        "task_status": "PENDING",
        "business_code": "0",
        "error_msg": ""
    }
}

Poll

接口说明

调用视频分镜算子提交异步任务,支持场景切分、人物提取、场景切片和结果上传。

请求参数

参数

类型

必填

示例值

说明

operator_id

string

las_video_scene_seg

算子 ID

operator_version

string

v1

算子版本

task_id

string

task-xxx

任务 ID

返回数据

参数
类型
示例值
描述
metadata
metadata
请求元信息
task_id
string
task-xxx
异步模式下的任务 ID。
task_status
string
COMPLETED
异步模式下的任务状态。
  • PENDING, 提交任务排队
  • RUNNING, 正在运行
  • COMPLETED, 已完成
  • FAILED, 失败
  • TIMEOUT, 超时
business_code
string
0
业务码。
error_msg
string
如有异常,会返回详细错误信息。
data
VideoSceneSegResponse
返回的数据
video_duration
float
98.4
输入视频总时长(秒)。
segment_count
integer
12
切分出的场景数量。
character_count
integer
5
识别出的全局人物数量。
segments_url
string
tos://bucket/output/run_id>/segments.json
场景结果 JSON 地址,每个元素对应一个场景对象。
characters_registry_url
string
tos://bucket/output/run_id>/characters_registry.json
人物注册表 JSON 地址。

示例

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/poll" --header "Content-Type: application/json" --header "Authorization: Bearer $LAS_API_KEY" --data '{
    "operator_id": "las_video_scene_seg",
    "operator_version": "v1",
    "task_id": "task-20260323153012-abc123"
}'

返回示例

{
    "metadata": {
        "task_id": "task-20260323153012-abc123",
        "task_status": "COMPLETED",
        "business_code": "0",
        "error_msg": ""
    },
    "data": {
        "video_duration": 98.4,
        "segment_count": 12,
        "character_count": 5,
        "segments_url": "tos://path/to/scene_seg_results/9f4b7c3d12ab_20260323_153012/segments.json",
        "characters_registry_url": "tos://path/to/scene_seg_results/9f4b7c3d12ab_20260323_153012/characters_registry.json"
    }
}

错误码

HttpCode

错误码

错误信息

说明

400

Url.Invalid

The url is invalid.

视频链接不合法。

400

Video.Invalid

The video file is invalid.

视频文件不合法或无法解析。

400

Video.DownloadFailed

Video download failed.

视频下载失败。

400

Video.FormatUnsupported

Video format not supported.

视频格式不支持。

400

Parameter.Invalid

The parameter is invalid.

参数不合法,例如 min_segment_duration / max_segment_duration 范围错误、min_segment_duration > max_segment_durationoutput_tos_path 格式不合法等。

400

Video.Timeout

Video processing timeout.

视频处理超时。

400

Video.ModelFailed

VLM call failed.

VLM 调用失败,导致场景切分或人物识别失败。

400

Video.FrameExtractionFailed

Frame extraction failed.

抽帧失败。

400

Video.UploadFailed

Video upload failed.

场景视频、JSON 结果或人物图片上传失败。

400

Tos.AccessFailed

TOS access failed.

TOS 访问失败。

401

Authorization.Missing

Missing Authorization.

缺少鉴权。

401

ApiKey.InValid

The api key is invalid.

API 不合法。

500

Internal.ServerError

Internal server error.

服务内部错误,例如未能切分出任何场景、未识别出任何人物、人物图片提取失败等。

最近更新时间:2026.06.18 17:15:36
这个页面对您有帮助吗?
有用
有用
无用
无用