描述 #

视频精细理解算子面向通用视频内容，支持直接对视频进行理解与分析。无论是短视频、影视片段、课程录屏还是监控录像，用户上传视频并给出 query 或 task_template 后，即可对视频内容进行描述、问答、信息提取，并结合时间戳定位相关片段。支持小时级（最大支持 3h、10G）视频输入，也支持结合画面、语音、音效等信息进行音视频联合理解，适用于检索、问答和内容分析等场景。

核心功能 #

• 全局精细理解：支持小时级（最大支持 3h、10G）视频，可生成连贯时间线、章节总结等内容。
• 音视频联合理解：支持结合视频画面、语音、背景音和音效进行综合分析，适用于需要同时关注视觉和听觉线索的场景。
• 事件与行为识别：精准检测关键事件、人物动作、场景变化和逻辑关系。
• 视频问答：基于视频内容的自然语言问答，快速定位答案及时间戳。
• 高效摘要与标签：可生成章节摘要、主题标签和人物关系等内容，便于知识管理。
• 结构化输出：支持输出时间线、事件列表等内容，方便二次处理或知识库构建。

适用场景 #

支持的任务 #

• 跨片段问答：整合多clip信息回答复杂问题；
• 高光生成：提取关键片段（情感高潮、剧情转折等）；
• 角色追踪：持续锁定目标实体并分析其行为；
• 章节拆解：按逻辑拆分长视频为章节；
• 音视频综合分析：结合画面变化、语音内容和音效线索输出综合理解结果；
• 金句抽取：提取视频中的核心观点或精彩台词。

• 计费标准

  细分项	计费标准说明
  计费项	包括4个计费项：模型输入、模型输出、缓存存储、缓存命中。需支付的费用为所有计费项的计费之和。
  计费类型	按量计费，单位：元/百万 Tokens，按实际的计费用量每小时出账。
  单价	各计费项的单价以调用模型时，基于模型输入长度进行阶梯定价，处于不同输入长度的梯度范围内的单价不同。

• 计费详情
  计费公式：总费用 = 模型输入费用 + 模型输出费用 + 缓存存储费用 + 缓存命中费用

  模型类型	条件 （千 token）	输入（非音频） 元/百万token	输入（音频） 元/百万token	缓存存储 元/百万token/小时	缓存命中(非音频) 元/百万token	缓存命中(音频) 元/百万token	输出 元/百万token
  doubao-seed-2.0-pro	输入长度 [0, 32]	6.4	不涉及	0.034	1.28	不涉及	32
  	输入长度 (32, 128]	9.6	不涉及	0.034	1.92	不涉及	48
  	输入长度 (128, 256]	19.2	不涉及	0.034	3.84	不涉及	96
  doubao-seed-2.0-lite	输入长度 [0, 32]	1.2	18	0.034	0.24	3.6	7.2
  	输入长度 (32, 128]	1.8	27	0.034	0.36	5.4	10.8
  	输入长度 (128, 256]	3.6	54	0.034	0.72	10.8	21.6
  doubao-seed-2.0-mini	输入长度 [0, 32]	0.4	6	0.034	0.08	1.2	4
  	输入长度 (32, 128]	0.8	12	0.034	0.16	2.4	8
  	输入长度 (128, 256]	1.6	24	0.034	0.32	4.8	16
  doubao-seed-1.8	输入长度 [0, 32]	1.6	不涉及	0.034	0.32	不涉及	16
  	输入长度 (32, 128]	2.4	不涉及	0.034	0.32	不涉及	32
  	输入长度 (128, 256]	4.8	不涉及	0.034	0.32	不涉及	48

• 计费预估

  • 基于上述计费详情表格，您可预估输入的视频大约为多少 Token，结合算子请求代码预估大约多少 Token，作为整体模型输入长度的预估。
  • 注意：此预估结果并不能作为准确的输入长度数据，仅作为参考，实际进行任务处理时，还会有系统 Prompt 等其他输入，但其他输入的长度一般不会很长。

Submit #

接口说明 #

调用 las_long_video_understand 算子进行视频精细理解。最小可用请求可传入 video_url 和 query，
也可传入 video_url和 task_template，其余字段可根据任务复杂度和分析需求按需配置。

请求参数 #

返回参数 #

推荐配置 #

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/submit" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $LAS_API_KEY" \
--data '{
    "operator_id": "las_long_video_understand",
    "operator_version": "v1",
    "data": {
      "video_url": "https://example.com/video.mp4",
      "task_template": "general_video_captioning"  
    }
}'

返回示例

{
  "metadata": {
    "task_id": "task-20251125163544-abc123",
    "task_status": "PENDING",
    "business_code": "200",
    "error_msg": ""
  }
}

Poll #

接口说明 #

查询视频理解任务的执行状态和结果。

请求参数 #

返回数据 #

示例 #

请求示例

curl --location "https://operator.las.cn-beijing.volces.com/api/v1/poll" \
--header "Content-Type: application/json" \
--header "Authorization: Bearer $LAS_API_KEY" \
--data '{
    "operator_id": "las_long_video_understand",
    "operator_version": "v1",
    "task_id": "task-20251125163544-abc123"
}'

返回示例

{
  "metadata": {
    "task_id": "task-20251125163544-abc123",
    "task_status": "COMPLETED",
    "business_code": "0",
    "error_msg": ""
  },
  "data": {
    "token_usages": [
      {
        "model_name": "doubao-seed-2-0-lite-260215",
        "token_usage": {
          "prompt_tokens": 4453444,
          "completion_tokens": 10929,
          "cached_tokens": 2612,
          "cached_store_tokens": 2612,
          "total_tokens": 4464373
        }
      }
    ],
    "video_duration": 847.296,
    "resolution": "1920x1080",
    "final_summary": "视频整体讲述了...",
    "response_ids": ["cache_resp_test"]
  }
}

错误码 #