具身语义标注算子面向真机、UMI 和人类数据等具身数据采集场景，识别操作中的交互物品，标注动作描述、起止时间和 skill 标签，并支持结合候选任务描述进行时序标注。 # 算子介绍 > 算子 ID：las_embodied_caption ## 适用场景 * 真机、UMI 和人类操作视频的交互物品识别。 * 第一人称操作视频的任务描述、动作片段和 skill 标签生成。 * 根据候选任务描述定位视频中实际发生的操作及时间区间。 ## 核心能力 * **交互物品识别**：识别主要交互物品及可区分实例，标注交互时间段。 * **动作时序标注**：拆分连续操作，生成任务描述、动作起止时间、动作描述和 skill 标签。 * **候选任务辅助标注**：结合候选任务描述，定位视频中实际发生的操作及时间区间。 * **抽帧与分辨率配置**：支持配置抽帧帧率和视频处理分辨率档位。 * **片段区间分析**：支持通过 `start` 和 `end` 指定视频分析区间。 * **视频内容缓存**：启用 Responses API 后，可复用同一视频已缓存的内容。 ## 支持的任务 LAS 为您预置了典型具身语义标注场景下的任务模版，您可直接使用模版快速进行对应场景的算子调用，支持的预置任务模版如下。 > **说明** > 不使用预置任务模版时，您也可以通过请求参数`query` 提供自定义语义标注任务的提示词；同时提供自定义任务提示词和预置任务模版时，自定义任务提示词会覆盖模板默认配置。 |任务模板 |说明 | |---|---| |`embodied_active_object_detection@v2` |交互物品识别，适用于左右双腕水平拼接视频 | |`embodied_active_object_detection@v3` |交互物品识别，同时支持左右双腕水平拼接视频和单路头戴视频 | |`embodied_action_captioning@v2` |第一人称主视角动作标注，输出任务描述及带 skill 标签的动作片段 | |`embodied_action_captioning_prior@v2` |结合候选任务描述（`task_context.prompt_context`）进行时序标注，输出动作及时间区间。

> **说明**

> 使用此模版时，必须通过 `task_context.prompt_context` 提供候选任务描述数组序列化后的 JSON 字符串。
| ## 效果展示 * 输入任务模板：`embodied_action_captioning@v2` * 输入主视角视频 [video](https://dev-whhan-shanghai.tos-cn-shanghai.volces.com/public-data/las_embodied_caption/v1/main_480p.mp4) * 输出结果节选 ```json { "task_description": "调整垃圾桶位置后，逐个拾取桌面上的塑料瓶并投入垃圾桶。", "segments": [ { "start": 2, "end": 6.4, "skill": "Move", "description": "右手握持白色圆柱垃圾桶，调整其在桌面的摆放位置后松开。" } ] } ``` --- **【交互物品识别与动作时序标注示例】** * 场景 1 输入视频：左右机械臂辅助视角视频水平拼接后的视频 [video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/3f91fb5178c647358d86240817ab16ce~tplv-goo7wpa0wc-image.image) * 场景 2 输入视频：主视角视频 [video](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/497d324190944693bdef36d61d219a65~tplv-goo7wpa0wc-image.image) * 先基于辅助视角视频捕获更清晰的物品细节并识别交互物品，再基于主视角视频进行动作时序标注。 * 应用场景 1：交互物品识别 * 任务模板：`embodied_active_object_detection@v2` * 输出结果示例： ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/b89a3c1173654cef93778893c2d4ac1f~tplv-goo7wpa0wc-topic.webp) [下载完整结果（JSON）](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/e94b6eae375144f4a622fe3951d4024a~tplv-goo7wpa0wc-image.image) * 结果使用建议： * 将返回结果中的物品清单整理为简短文本，作为后续动作时序标注请求中的 `task_context.prompt_context`。 * 上下文中每一行均以输出的**稳定实例 ID**（`obj_001`、`obj_002` 等）开头，便于动作时序标注在多次操作同一物体时复用同一稳定 ID 进行对齐。 * 在物品清单之后追加【动作类别词表】和【skill 填写规则】，明确可选的标准化原子动作类别，并为每个动作片段输出对应的 skill 标签。 * 应用场景 2：动作时序标注 * 任务模板：`embodied_action_captioning@v2` * 关键参数： * 将交互物品识别结果作为 `task_context.prompt_context` 输入。 * 输出结果示例： ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/225e78b42a7e481eaa0b4fe1aa027755~tplv-goo7wpa0wc-topic.webp) [下载完整结果（JSON）](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/17b56956a24d4b5e983bc7eb85241f6a~tplv-goo7wpa0wc-image.image) 以上示例视频来自开源 [Hugging Face ABC\-130k 数据集](https://huggingface.co/datasets/XDOF/ABC-130k)，仅用于展示算子调用效果。 ## 算子性能 |细分项 |性能影响说明 | |---|---| |最大 Submit RPM |600 | |最大 Poll RPM |1200 | |最大并发度 |10 | |耗时 |提高抽帧帧率会增加处理时延和 Token 消耗。 | # 输入与输出要求 ## 输入要求 |细分项 |详细要求 | |---|---| |支持的数据模态 |* 视频

* 文本 | |数据模态：视频 |* 格式：mp4、mov、avi、mkv、flv、webm

* 时长与大小：不超过 3 小时、不超过 10 GB | |输入路径要求 |通过请求参数 `video_url`提供给算子输入数据，当前支持公网 URL、TOS 路径这两种方式。

* 公网 URL：公网可访问的视频 URL，格式为 `http/https`。

* TOS 路径：将待处理数据上传至与当前 LAS 服务同主账号、同地域的 TOS Bucket后，可提供 TOS 路径，格式为`tos://bucket_name/demo`。 | ## 输出要求 |细分项 |详细要求 | |---|---| |支持的数据模态 |* 文本

根据任务模板返回交互物品、任务描述、动作片段、起止时间和 skill 标签等结构化结果 | |输出路径：API 返回 |算子处理完成后，直接通过算子 Poll 接口的返回参数将结果返回。 | # 计费说明调用 LAS 具身语义标注算子时，会直接使用您账号下的方舟模型，LAS 不额外收取算子处理费用。模型调用采用方舟在线推理（常规）的按 Token 后付费方式，当前支持的模型及刊例价如下。 |支持的模型 ID |输入长度（千 Token） |输入（非音频）

元/百万 Token |输入（音频）

元/百万 Token |缓存存储

元/百万 Token/小时 |缓存命中（非音频）

元/百万 Token |缓存命中（音频）

元/百万 Token |输出

元/百万 Token | |---|---|---|---|---|---|---|---| |`doubao-seed-2-0-mini-260428` |[0, 32] |0.2 |3.0 |0.017 |0.04 |0.6 |2.0 | ||(32, 128] |0.4 |6.0 |0.017 |0.08 |1.2 |4.0 | ||(128, 256] |0.8 |12.0 |0.017 |0.16 |2.4 |8.0 | |`doubao-seed-2-0-lite-260428` |[0, 32] |0.6 |9.0 |0.017 |0.12 |1.8 |3.6 | ||(32, 128] |0.9 |13.5 |0.017 |0.18 |2.7 |5.4 | ||(128, 256] |1.8 |27.0 |0.017 |0.36 |5.4 |10.8 | |`doubao-seed-2-1-lite-260915` |[0, 1024] |0.4 |6.0 |0.017 |0.16 |2.4 |1.35 | |`doubao-seed-2-1-pro-260628`

`doubao-seed-2-1-pro-260915` |[0, 1024] |6.0 |\- |0.017 |1.2 |\- |30.0 | |`doubao-seed-2-1-turbo-260628` |[0, 256] |3.0 |\- |0.017 |0.6 |\- |15.0 | > **说明** * > 当前算子的文本和视频视觉内容所产生的输入 Token 按“输入（非音频）”单价计费；表中的音频价格为对应方舟模型的完整价格信息。 * > Seed 2.0 系列根据单次请求的输入长度分段计费，输入和输出 Token 均使用对应区间的单价。 * > 启用视频内容缓存时，缓存存储和缓存命中 Token 分别按表中对应单价计费。 * > 上表为方舟在线推理（常规）刊例价，具体可购买的商品规格及费用以实际下单和账单为准。最新价格请参见[方舟模型价格](https://docs.volcengine.com/docs/ark/model-pricing?lang=zh)。 # 注意与前提 |细分项 |注意与前提 | |---|---| |开通 LAS |* 如果您是一个全新的火山引擎用户，此前未开通过 LAS 产品，您可先开通 LAS，不使用 LAS 的计费功能仅开通 LAS 产品不会产生费用。开通操作请参见[准备工作](https://docs.volcengine.com/docs/6492/1264537)。

* 开通完成后可查看算子介绍文档，了解算子能力、上手引导等，详情可参见：[LAS 智能数据处理算子](https://docs.volcengine.com/docs/6492/1798368)。 | |费用 |调用算子前，您需先了解使用算子时的模型调用费用，详情请参见[大模型调用计费](https://www.volcengine.com/docs/6492/1544808)。 | |鉴权（API Key） |调用算子前，您需要先生成算子调用的API Key，并建议将API Key配置为环境变量，便于更安全地调用算子，详情请参见[获取 API Key 并配置](https://docs.volcengine.com/docs/6492/2191994)。 | |BaseURL |调用算子前，您需要先根据您当前使用的LAS服务所在地域，了解算子调用的BaseURL，用于配置算子调用路径参数取值。

详情请参见[获取 Base URL](https://docs.volcengine.com/docs/6492/2191993)，下文中的调用示例仅作为参考，实际调用时需替换为您对应地域的路径取值。 | # Rest API 调用 ## Submit ### 接口说明调用 `las_embodied_caption` 算子提交具身语义标注任务。成功后返回任务 ID，可通过 Poll 查询任务状态和结果。 ### 请求参数 **operator_id** string 必选 `示例值: las_embodied_caption` 算子 ID，固定为 `las_embodied_caption`。 **operator_version** string 必选 `示例值: v1` 算子版本，固定为 `v1`，与任务模板版本相互独立。 **data** las_embodied_caption_info 必选具身语义标注参数。 **video_url** string 必选 `示例值: https://example.com/main.mp4` 待分析视频的可访问地址，支持 HTTP/HTTPS、火山 TOS 等。最大支持 3 小时、10 GB，支持 mp4、mov、avi、mkv、flv、webm。 **ark_api_key** string 必选 `示例值: ark-xxxx` 方舟 API Key。 **model_name** string 必选 `示例值: doubao-seed-2-1-pro-260628` 模型名称。支持 `doubao-seed-2-0-mini-260428`、`doubao-seed-2-0-lite-260428`、`doubao-seed-2-1-lite-260915`、`doubao-seed-2-1-pro-260628`、`doubao-seed-2-1-pro-260915`、`doubao-seed-2-1-turbo-260628`。 **ark_endpoint_id** string `Optional` `示例值: ep-xxxx` 方舟推理接入点。非空时须与 `model_name` 对应同一模型小版本；省略时使用模型默认接入点。 **query** string `Optional` `示例值: 标注拿取、投放物品的动作及起止时间` 自定义提示词。未传 `task_template` 时必填；显式传入时覆盖模板默认提示词。 **task_template** string `Optional` `示例值: embodied_action_captioning@v2` 任务模板，格式为“模板名@版本号”；省略版本号时默认使用 v1。支持交互物品识别、动作时序标注和候选任务辅助标注模板。 **task_context** task_context `Optional` 任务模板上下文。 **prompt_context** string `Optional` `示例值: 主要交互物品：白色圆柱垃圾桶、塑料瓶` 动作标注时可提供物品信息或 skill 词表。使用 `embodied_action_captioning_prior@v2` 时，必须传入候选 description 字符串数组序列化后的 JSON 字符串，例如 `["调整垃圾桶位置","拿起塑料瓶"]`。 **start** float `Optional` `示例值: 0.0` 分析开始时间，单位秒，默认 0；取值范围为 `[0, 视频时长]`，且须小于 `end`。 **end** float `Optional` `示例值: 106.9` 分析结束时间，单位秒；省略时分析至视频结束，且须大于 `start`。 **fps** float `Optional` `示例值: 1.0` 抽帧帧率，范围为 1/60～10。未使用模板时默认 1.0；模板可提供不同默认值，显式参数优先。 **media_resolution** string `Optional` `示例值: medium` 视频处理分辨率档位，支持 `low`、`medium`、`high`、`xhigh`。未使用模板时默认 `medium`。 **reasoning_effort** string `Optional` `示例值: minimal` 模型推理强度，常用值包括 `minimal`、`low`、`medium`、`high`。未使用模板时默认 `minimal`，可用档位以模型为准。 **clip_context** string `Optional` `示例值: medium` 单片段上下文范围，支持 `medium`、`long`，默认 `medium`。 **use_responses_api** boolean `Optional` `示例值: false` 是否启用 Responses API，默认 `false`。启用后可缓存视频内容，后续请求可通过 `previous_response_ids` 复用缓存，缓存的默认有效期为 1 小时。 **previous_response_ids** list of string `Optional` `示例值: ["cache_resp_test"]` 需要复用已缓存视频内容时传入此前的响应 ID，仅在 `use_responses_api=true` 时生效。 ### 返回数据 **metadata** metadata 请求元信息。 **task_id** string `示例值: task-xxx` 异步任务 ID，用于 Poll 查询。 **task_status** string `示例值: PENDING` 任务状态：PENDING、RUNNING、COMPLETED、FAILED、TIMEOUT。 **business_code** string `示例值: 0` 业务码，提交成功时通常为 `0`。 **error_msg** string 异常详情。 ### 请求示例 ```bash curl --location "https://operator.las.cn-beijing.volces.com/api/v1/submit" \ --header "Content-Type: application/json" \ --header "Authorization: Bearer $LAS_API_KEY" \ --data '{ "operator_id": "las_embodied_caption", "operator_version": "v1", "data": { "video_url": "https://example.com/main.mp4", "ark_api_key": "ark-xxxx", "model_name": "doubao-seed-2-1-pro-260628", "task_template": "embodied_action_captioning@v2" } }' ``` ### 返回示例 ```json { "metadata": { "task_id": "task-xxx", "task_status": "PENDING", "business_code": "0", "error_msg": "" } } ``` ### 错误码 |HttpStatusCode |错误码 |错误信息 |描述 | |---|---|---|---| |400 |Model.InvalidName |The model name is invalid. |模型名称不合法 | |401 |Authorization.Missing |Missing Authorization. |缺少鉴权信息 | |401 |ApiKey.InValid |The api key is invalid. |API Key 不合法 | ## Poll ### 接口说明根据任务 ID 查询具身语义标注任务的状态和结果。任务成功需同时满足 `task_status=COMPLETED` 和 `business_code=0`。 ### 请求参数 |名称 |类型 |是否必选 |示例值 |描述 | |---|---|---|---|---| |operator_id |string |是 |las_embodied_caption |算子 ID | |operator_version |string |是 |v1 |算子版本 | |task_id |string |是 |task\-xxx |异步任务 ID | ### 返回数据 **metadata** metadata 请求元信息。 **task_id** string `示例值: task-xxx` 异步任务 ID。 **task_status** string `示例值: COMPLETED` 任务状态：PENDING、RUNNING、COMPLETED、FAILED、TIMEOUT。 **submit_time** string `示例值: 2026-10-09T16:00:00+08:00` 任务提交时间，ISO 8601 格式。 **end_time** string `示例值: 2026-10-09T16:01:00+08:00` 任务结束时间，ISO 8601 格式。 **business_code** string `示例值: 0` 业务码，处理成功时通常为 `0`。 **error_msg** string 异常详情。 **data** las_embodied_caption_result 任务结果。 **token_usages** list of token_usage_info 各模型的 Token 使用情况。 **model_name** string `示例值: doubao-seed-2-1-pro-260628` 模型名称。 **token_usage** token_usage Token 用量。 **prompt_tokens** integer `示例值: 10000` 输入 Token 数量，包含文本、音频等所有类型。 **completion_tokens** integer `示例值: 1000` 模型生成的 Token 数量。 **audio_tokens** integer `示例值: 0` 输入中的音频 Token 数量。 **cached_tokens** integer `示例值: 0` 命中的 Token 数量。 **cached_store_tokens** integer `示例值: 0` 写入缓存的 Token 数量。 **cached_audio_tokens** integer `示例值: 0` 命中的音频 Token 数量。 **total_tokens** integer `示例值: 11000` 总 Token 数量，为 `prompt_tokens + completion_tokens`。 **video_duration** float `示例值: 106.9` 视频时长，单位秒。 **resolution** string `示例值: 854x480` 原视频分辨率，不是 `media_resolution` 档位。 **final_summary** string 标注结果的 JSON 字符串。交互物品识别返回 `objects`；动作时序标注返回 `task_description` 和 `segments`；候选任务辅助标注返回 `segments`。时间单位为秒。 **response_ids** list of string `示例值: ["cache_resp_test"]` 启用 Responses API 后返回的响应 ID，可在后续 Submit 请求中通过 `previous_response_ids` 复用缓存。 ### 请求示例 ```bash curl --location "https://operator.las.cn-beijing.volces.com/api/v1/poll" \ --header "Content-Type: application/json" \ --header "Authorization: Bearer $LAS_API_KEY" \ --data '{ "operator_id": "las_embodied_caption", "operator_version": "v1", "task_id": "task-xxx" }' ``` ### 返回示例以下标注内容及 Token 数值为示意。 ```json { "metadata": { "task_id": "task-xxx", "task_status": "COMPLETED", "submit_time": "2026-10-09T16:00:00+08:00", "end_time": "2026-10-09T16:01:00+08:00", "business_code": "0", "error_msg": "" }, "data": { "token_usages": [ { "model_name": "doubao-seed-2-1-pro-260628", "token_usage": { "prompt_tokens": 10000, "completion_tokens": 1000, "audio_tokens": 0, "cached_tokens": 0, "cached_store_tokens": 0, "cached_audio_tokens": 0, "total_tokens": 11000 } } ], "video_duration": 106.9, "resolution": "854x480", "final_summary": "{\"task_description\":\"整理桌面物品\",\"segments\":[{\"start\":2,\"end\":6.4,\"skill\":\"Move\",\"description\":\"调整垃圾桶位置。\"}]}", "response_ids": [] } } ``` ### 错误码 |HttpStatusCode |错误码 |错误信息 |描述 | |---|---|---|---| |400 |Task.NotFound |The task is not found. |任务不存在 | |401 |Authorization.Missing |Missing Authorization. |缺少鉴权信息 | |401 |ApiKey.InValid |The api key is invalid. |API Key 不合法 |

AI 数据湖服务