You need to enable JavaScript to run this app.
文档中心
AI 数据湖服务

AI 数据湖服务

复制全文
下载 pdf
数据质检
具身标注质检
复制全文
下载 pdf
具身标注质检
具身标注质检算子用于核验视频级结论、片段描述和动作时间线与视频证据的一致性,并可汇总已完成的单 Case 质检结果。​
算子介绍​
算子 ID:las_embodied_annotation_quality_check​
适用场景​
  • 核验具身操作视频的任务结果、整段描述或自定义业务规则。​
  • 逐片段检查动作、对象、工具、执行主体、状态、完成情况和描述覆盖。​
  • 检查动作起止边界、漏切、多切、重叠和连续时间线。​
  • 对已完成的质检结果进行批次分布、归因、分组统计和可选评测。​
核心能力​
  • 视频级标注与规则核验:核验整条结果标签、描述,或在不提供标注时执行仅依赖视频证据的业务规则。​
  • 片段描述质检:逐叶子片段检查动作、对象、工具、执行主体、状态、完成情况和描述覆盖。​
  • 动作时间线质检:检查动作起止边界、漏切、多切、重叠和可选的连续时间线。​
  • 批次统计与评测:聚合已有 PASS / REJECT 结果,按场景分组,并在提供独立 GT 时计算分类、排序或时间边界指标。​
  • 证据约束判定:仅当问题满足可见性、时间覆盖、真实帧引用和置信度 Gate 时才形成确认违规。​
  • 自定义业务输出:单 Case 模板可结合 audit_rule 和受限 output_spec 返回结构化 business_result。​
  • 可选报告发布:设置 output.uri_prefix 后,将完整 JSON 报告发布到指定的 TOS 前缀。​
支持的模板​
​
​
模板​
输入与审核单元​
主要输出​
video_annotation​
单路视频与整条标注,或单路视频与 audit_rule​
Case 判定、问题、证据和可选业务结果​
segment_description​
单路视频与带秒级起止时间、描述的片段标注​
逐片段判定、问题、证据和汇总指标​
action_timeline​
单路视频与片段时间线​
边界、漏切、多切、重叠或空隙问题​
batch_report​
内联结果或 JSONL 结果清单​
批次分布、归因、分组统计及可选评测​
​
效果展示​
待标注视频​
​
Replay
Play
00:00 / 00:00 Live
00:00
Fullscreen
Cssfullscreen
1x
  • 2x
  • 1.5x
  • 1x
  • 0.75x
  • 0.5x
Click and hold to drag
​
​
待质检的标注结果示例​
​
{​
"template_name": "action_timeline",​
"annotation": [​
{"segment_id": "board-01", "start": 0.0, "end": 2.566667, "description": "右手用棉签接触并处理左手持有的绿色电路板。"},​
{"segment_id": "board-02", "start": 2.566667, "end": 7.7, "description": "右手继续用棉签处理绿色电路板表面。"},​
{"segment_id": "board-03", "start": 7.7, "end": 21.933333, "description": "右手持续用棉签操作绿色电路板的细窄部位。"},​
{"segment_id": "board-04", "start": 21.933333, "end": 23.4, "description": "左手将绿色电路板放下。"},​
{"segment_id": "board-05", "start": 23.4, "end": 24.5, "description": "右手再次用棉签接触绿色电路板。"}​
]​
}​
​
质检结果示例​
参考结果节选:统计覆盖全部 5 个片段,仅展示拒绝片段 board-03​
​
{​
"verdict": "REJECT",​
"decision_basis": "confirmed_violation",​
"evidence_status": "sufficient",​
"summary": "质检发现已确认的问题,请查看问题详情。",​
"metrics": {​
"total_segments": 5,​
"passed_segments": 4,​
"rejected_segments": 1,​
"pass_rate": 0.8,​
"missing_split_segments": 1​
},​
"segment_results": [​
{​
"segment_id": "board-03",​
"start": 7.7,​
"end": 21.933333,​
"verdict": "REJECT",​
"issues": [​
{​
"issue_type": "missing_split",​
"issue_code": "EMBODIED_AUDIT_MISSING_SPLIT",​
"severity": "high"​
}​
]​
}​
]​
}​
​
​
判定说明​
metadata.task_status 表示异步任务是否执行完成,data.result.verdict 才是业务质检结论。确认违规返回 REJECT。未发现问题且证据充分时返回 PASS / confirmed_consistent / sufficient;未确认反证或审核证据不足时,可能返回 PASS / no_confirmed_violation / insufficient,不能将其解释为标注已被完全确认正确。​
算子性能​
​
​
细分项​
限制​
最大 Submit RPM​
600​
最大 Poll RPM​
1200​
最大并发度​
10​
​
输入与输出要求​
输入要求​
​
​
细分项​
详细要求​
支持的数据模态​
  • 视频​
  • 文本​
  • 文件(JSONL)​
输入模态:视频​
  • video_annotation、segment_description 和 action_timeline 模板必须提供单路视频。​
  • 视频时长不超过 1 小时,文件大小不超过 1 GiB(1,073,741,824 字节),且必须能够正常解码。​
  • 视频模板最多支持 600 个标注叶子片段,标注层次不超过 3 层。​
输入模态:文本​
  • 通过 annotation、audit_rule、options 等参数提供标注内容、审核规则和审核配置。​
  • batch_report 支持传入 1~2000 个内联 Case;单个 Case 的 audit_result 不超过 1 MiB,整个内联批次不超过 32 MiB。​
输入模态:文件​
* batch_report 支持通过 kind=jsonl 的 JSONL 结果清单输入,清单文件不超过 32 MiB。​
输入路径​
  • HTTP/HTTPS:必须是 LAS 服务可直接访问的公网地址;使用签名 URL 时,有效期应覆盖任务排队和执行过程。地址不能包含用户凭据或 URL fragment。​
  • TOS:使用 tos://bucket/key 格式。TOS Bucket 需与 LAS 服务属于同一主账号、同一地域,并确保 LAS 服务具备目标对象的读取权限。​
​
输出要求​
​
​
细分项​
详细要求​
支持的数据模态​
  • 文本(JSON)​
Poll 返回业务判定、问题与证据、统计指标以及按模板生成的片段或批次结果。​
输出路径​
  • API 返回:通过 Poll 获取内联质检结果。​
  • TOS:设置 output.uri_prefix 后,可将完整 JSON 报告发布到指定 TOS 前缀。TOS Bucket 需与 LAS 服务属于同一主账号、同一地域,并确保 LAS 服务具备目标目录的写入权限。路径格式为 tos://bucket/prefix,实际报告地址以 Poll 返回的 artifacts[].uri 为准。​
​
注意与前提​
申请开白​
当前功能处于白名单阶段,使用前需提交工单申请开通。​
其他​
​
​
细分项​
注意与前提​
开通 LAS​
  • 如果您是一个全新的火山引擎用户,此前未开通过 LAS 产品,您可先开通 LAS。不使用 LAS 的计费功能、仅开通 LAS 产品不会产生费用,操作参见准备工作。​
费用​
调用算子前,请先了解 LAS 算子和方舟模型调用的相关费用,详情参见大模型调用计费。批次纯统计不发起模型调用。​
鉴权(API Key)​
  • 调用算子前,请先生成 LAS API Key,并建议配置为环境变量,详情参见获取 API Key 并配置。​
  • 所有模板均要求传入不含空白字符的 ark_api_key。批次纯统计不发起模型调用,但入口参数仍需提供该字段。​
BaseURL​
调用算子前,请根据 LAS 服务所在地域获取对应的 Base URL,详情参见获取 Base URL。下文示例仅供参考,实际调用时需替换为对应地域的地址。​
​
Rest API 调用​
Submit​
接口说明​
提交具身标注质检异步任务。支持视频级标注与业务规则核验、片段描述质检、动作时间线质检和批次报告四种模板。​
请求参数​
operator_id string 必选 示例值: las_embodied_annotation_quality_check​
算子 ID,固定为 las_embodied_annotation_quality_check。​
​
operator_version string 必选 示例值: v1​
算子版本,固定为 v1。​
​
data AnnotationQualityCheckInfo 必选​
标注质检参数。​
template_name string 必选 示例值: segment_description​
模板名称。支持 video_annotation、segment_description、action_timeline、batch_report。​
​
ark_api_key string 必选 示例值: ark-xxxx​
调用方的方舟 API Key,不能包含空白字符。​
​
assets list of AssetInput Optional​
视频模板必须且仅提供 video_asset_id 引用的一项 kind=video 资产。batch_report 清单模式必须且仅提供一项 kind=jsonl 资产,内联模式省略或传空数组;不得传入当前模板未引用的额外资产。​
asset_id string 必选 示例值: video​
资产 ID,长度 1~128,同一请求内唯一。​
​
kind string 必选 示例值: video​
单 Case 使用 video,批次清单使用 jsonl。​
​
uri string 必选 示例值: tos://bucket/input.mp4​
资产地址,支持公网可直接下载的 HTTP/HTTPS 和 tos://bucket/key。TOS Bucket 需与 LAS 服务属于同一主账号、同一地域,并确保 LAS 服务具备读取权限。地址必须包含对象键,不得包含用户凭据或 fragment;签名 URL 的有效期应覆盖排队和执行过程。​
​
​
inputs AnnotationQualityCheckInputs 必选​
模板业务参数。​
video_asset_id string Optional 示例值: video​
单 Case 模板使用。默认为 video,必须引用 assets 中 kind=video 的资产。​
​
annotation_format string Optional 示例值: segment_list​
支持 auto、video_annotation、segment_annotation、segment_list、task_segment_list,默认 auto。​
​
annotation object / array Optional​
segment_description 和 action_timeline 必填;video_annotation 仅在提供非空 audit_rule 执行无标注规则时可省略。公开接口只接受对象或对象数组,不接受裸字符串、布尔值或数字。片段列表最多 3 层,最多 600 个叶子片段。​
​
audit_rule string Optional 示例值: 核验任务是否完成​
单 Case 模板使用,最长 5000 字符。核验结果标签、执行无标注业务规则或使用 output_spec 时必填。​
​
options AuditOptions Optional​
审核模式、检查项、证据预算和自定义业务输出。​
review_mode string Optional 示例值: balanced​
支持 fast、balanced、strict,默认 balanced。视频级审核默认取证频率/帧数上限依次为 0.5 FPS/8、1 FPS/16、2 FPS/32;片段和时间线使用独立证据策略。​
​
check_items list of string Optional​
检查项。省略或传空数组时使用模板默认检查包;非空列表会整体替换默认包。​
​
return_evidence boolean Optional 示例值: true​
是否在视频级及默认片段描述审核的问题中返回证据,默认 true。设为 false 不关闭内部取证或改变判定;动作时间线使用独立的证据输出流程。​
​
evidence_frame_limit integer Optional 示例值: 16​
证据帧上限,范围 0~128。省略或传 0 时保留模板预算;正数只收紧视频级审核当前模式的取证上限,不扩大预算,也不是整个任务的总帧数上限。​
​
model_name string Optional 示例值: doubao-seed-2-1-pro-260628​
可选模型名称,仅覆盖主审角色,不覆盖备用、专项复核或批次解读模型。默认视频级主审为 doubao-seed-2-1-pro-260628,片段主审为 doubao-seed-2-0-lite-260428;旧版 doubao-seed-2-0-lite-260215 会映射到 doubao-seed-2-0-lite-260428。​
​
reasoning_effort string Optional 示例值: medium​
推理强度,支持 low、medium、high,默认 medium。​
​
sampling_fps float Optional 示例值: 1.0​
可选采样频率,必须为正有限数。视频级审核省略时采用 review_mode 对应频率,实际帧数仍受模式和证据预算限制;片段描述、动作时间线与批次统计不沿用该配置。​
​
annotation_label_map map Optional​
将自定义结果标签映射为布尔结果。​
​
output_spec object Optional​
自定义 business_result 的受限结构定义,必须同时提供 audit_rule;batch_report 不支持。可通过 fields 定义 1~24 个业务字段,或使用受限的 segment_schema / case_schema;根对象最大深度为 4。​
​
​
batch BatchInput Optional​
仅 batch_report 使用且必填。​
batch_id string Optional 示例值: batch-20261019​
批次 ID,长度 1~256。使用内联结果且省略时,由内容生成稳定 ID。​
​
results list of BatchCase Optional​
内联 Case 结果,1~2000 项,整个内联批次序列化后不超过 32 MiB。每项需提供唯一 case_id 和已完成的 audit_result;单条 audit_result 不超过 1 MiB。可选提供 scenario、custom 和独立 GT 评测数据 evaluation。​
​
results_manifest_asset_id string Optional 示例值: results-manifest​
JSONL 清单资产 ID,必须引用 assets 中 kind=jsonl 的资产。清单最大 32 MiB。与 results 必须且只能提供一个。​
​
report_spec object Optional 示例值: {"group_by":["scenario.scene"]}​
分组、数值聚合和评测配置。group_by 最多 8 个不重复字段,使用 scenario.<field> 或 custom.<field>;数值聚合最多 16 项,并可配置独立 GT 的分类、排序和时间边界评测。​
​
report_prompt string Optional 示例值: 总结主要问题和场景差异​
可选文字解读提示词,最长 4000 字符。仅在提供该字段时调用模型。​
​
​
​
output OutputOptions Optional​
完整 JSON 报告的可选发布位置。​
uri_prefix string 必选 示例值: tos://bucket/qc-results​
报告发布前缀,仅支持 tos://bucket/prefix。TOS Bucket 需与 LAS 服务属于同一主账号、同一地域,并确保 LAS 服务具备目标目录的写入权限。路径必须包含非空对象前缀,且不能包含用户凭据、query 或 fragment;报告地址以 Poll 返回的 artifacts[].uri 为准。​
​
​
​
​
​
返回数据​
metadata metadata​
异步任务元信息。​
task_id string 示例值: task-xxx​
异步任务 ID,用于 Poll 查询。​
​
task_status string 示例值: PENDING​
任务状态。提交成功时为 PENDING。​
​
business_code string 示例值: 0​
业务码,提交成功时通常为字符串 "0"。​
​
error_msg string​
错误信息,提交成功时为空字符串。​
​
​
​
请求示例​
​
curl --location "${LAS_ENDPOINT}/api/v1/submit" \​
--header "Content-Type: application/json" \​
--header "Authorization: Bearer $LAS_API_KEY" \​
--data '{​
"operator_id": "las_embodied_annotation_quality_check",​
"operator_version": "v1",​
"data": {​
"template_name": "segment_description",​
"ark_api_key": "ark-xxxx",​
"assets": [{"asset_id": "video", "kind": "video", "uri": "tos://your-bucket/embodied-operation.mp4"}],​
"inputs": {​
"video_asset_id": "video",​
"annotation_format": "segment_list",​
"annotation": [​
{"segment_id": "step-01", "start": 0.0, "end": 2.5, "description": "右手拿起桌面上的白色杯子。"}​
]​
}​
}​
}'​
​
Poll​
接口说明​
查询具身标注质检任务状态和最终结果。仅当 metadata.task_status=COMPLETED 且 metadata.business_code="0" 时读取 data.result。排队、执行中、失败、过期、取消或查询错误时,data 为空或省略。​
请求参数​
​
​
名称​
类型​
是否必选​
示例值​
描述​
operator_id​
string​
是​
las_embodied_annotation_quality_check​
算子 ID​
operator_version​
string​
是​
v1​
算子版本​
task_id​
string​
是​
task-xxx​
Submit 返回的任务 ID​
​
返回数据​
metadata metadata​
平台任务状态和错误信息。​
task_id string 示例值: task-xxx​
异步任务 ID。​
​
task_status string 示例值: COMPLETED​
PENDING、RUNNING、COMPLETED、FAILED、EXPIRED、CANCELLED 或 UNKNOWN。仅 COMPLETED 且 business_code 为字符串 "0" 时读取 data。​
​
submit_time string 示例值: 2026-10-19T10:00:00+08:00​
任务提交时间,ISO 8601 格式。​
​
end_time string 示例值: 2026-10-19T10:02:00+08:00​
任务结束时间,ISO 8601 格式;未结束或时间不可用时省略。​
​
business_code string 示例值: 0​
字符串 "0" 只表示本次查询或执行无错误,不表示任务已完成或业务质检通过;非零时读取 error_msg。​
​
error_msg string​
安全处理后的错误信息。​
​
​
data AnnotationQualityCheckResult​
仅 COMPLETED 且 business_code="0" 并有有效结果时返回;排队、执行中、失败、过期、取消或查询错误时为空或省略。​
template_name string 示例值: action_timeline​
实际执行的模板。​
​
execution_status string 示例值: completed​
completed 或 degraded。报告交付失败但内联结果可用时为 degraded。​
​
result AuditResult​
按模板投影的业务质检结果。​
audit_id string 示例值: audit-xxx​
审核实例 ID。​
​
audit_template string 示例值: action_timeline_audit​
执行模板标识。​
​
annotation_format string 示例值: segment_list​
归一化后的标注格式。​
​
verdict string 示例值: REJECT​
仅发布 PASS 或 REJECT。​
​
decision_basis string 示例值: confirmed_violation​
confirmed_consistent、confirmed_violation 或 no_confirmed_violation;最后一种可能是审核不可用后的策略放行,需要结合业务决定是否人工复核。​
​
evidence_status string 示例值: sufficient​
sufficient 或 insufficient;PASS 与 insufficient 同时出现不表示标注已确认正确。​
​
summary string 示例值: 质检发现已确认的问题,请查看问题详情。​
结果摘要。​
​
issues list of AuditIssue​
视频级或无法归属具体片段的问题列表。每项包含问题类别、稳定类别码、严重度、统一业务说明,以及可选预期、观察结果和证据;片段问题仅在 segment_results[].issues 返回。​
​
metrics AuditMetrics​
按模板返回问题数、片段数、通过/拒绝数、证据不足数、放行率及边界/漏切/多切等统计。pass_rate 是业务放行率,不是模型准确率。​
​
business_result object​
按 output_spec 生成的 Case 业务结果;逐片段业务结果位于 segment_results[].business_result。​
​
usage ReportDeliveryUsage​
正常为空对象;报告交付失败时包含状态、原因、脱敏提示和是否可重试。交付失败不会安排后台补传。​
​
segment_results list of SegmentAuditResult​
片段描述和时间线模板的全部叶子判定,包含片段 ID/路径、起止时间、原始描述、判定、证据状态、问题和业务结果。​
​
video_metadata VideoMetadata​
视频时长、分辨率、源帧率、编码和旋转信息;batch_report 可省略。​
​
batch_report BatchReportResult​
batch_report 的批次分布、归因、分组统计和可选评测结果;其他模板省略。​
​
​
artifacts list of Artifact​
已成功发布的报告产物;未配置输出位置时为空数组。​
​
token_usages list of ModelTokenUsage​
按 model_name 汇总已采集的模型调用消耗,包含重试产生的新调用,列表按模型名排序。仅任务成功完成且存在可用用量时返回;字段缺失不表示 0,统计值不等同于用户应付费用,也不保证覆盖未采集调用。​
model_name string 示例值: doubao-seed-2-0-lite-260428​
模型标识。​
​
prompt_tokens integer 示例值: 153019​
输入 token 总数;缺失时省略,不补为 0。​
​
completion_tokens integer 示例值: 12777​
输出 token 总数;缺失时省略,不补为 0。​
​
total_tokens integer 示例值: 165796​
供应商返回的总 token 计数;缺失时省略,不自行推算。​
​
cached_tokens integer 示例值: 0​
输入 token 的缓存命中子集,不额外累加到 total_tokens。​
​
reasoning_tokens integer 示例值: 873​
输出 token 的推理子集,不额外累加到 total_tokens。​
​
​
​
​
​
请求示例​
​
curl --location "${LAS_ENDPOINT}/api/v1/poll" \​
--header "Content-Type: application/json" \​
--header "Authorization: Bearer $LAS_API_KEY" \​
--data '{​
"operator_id": "las_embodied_annotation_quality_check",​
"operator_version": "v1",​
"task_id": "task-xxx"​
}'​
​
返回示例​
​
{​
"metadata": {"task_id": "task-xxx", "task_status": "COMPLETED", "business_code": "0", "error_msg": ""},​
"data": {​
"template_name": "action_timeline",​
"execution_status": "completed",​
"result": {​
"verdict": "REJECT",​
"decision_basis": "confirmed_violation",​
"evidence_status": "sufficient",​
"summary": "质检发现已确认的问题,请查看问题详情。",​
"metrics": {"total_segments": 2, "passed_segments": 1, "rejected_segments": 1, "pass_rate": 0.5},​
"business_result": {},​
"segment_results": [​
{"segment_id": "step-01", "start": 0.0, "end": 2.5, "verdict": "REJECT", "issues": [{"issue_type": "missing_split", "issue_code": "EMBODIED_AUDIT_MISSING_SPLIT", "severity": "high"}]}​
]​
},​
"artifacts": [],​
"token_usages": [​
{​
"model_name": "doubao-seed-2-0-lite-260428",​
"prompt_tokens": 153019,​
"completion_tokens": 12777,​
"total_tokens": 165796,​
"cached_tokens": 0,​
"reasoning_tokens": 873​
}​
]​
}​
}​
​
错误码​
​
​
HttpStatusCode​
错误码​
错误信息​
描述​
400​
Parameter.Invalid​
The parameter is invalid.​
模板、方舟 Key、资产、URI、标注、检查项或批次输入不合法。​
400​
Task.NotFound​
The task is not found.​
任务 ID 为空或不存在。​
400​
QC_INPUT_TOO_LARGE​
输入视频大小超过质检限制。​
视频文件超过 1 GiB(1,073,741,824 字节)。​
400​
QC_VIDEO_TOO_LONG​
输入视频时长超过质检限制。​
视频时长超过 1 小时。​
400​
QC_LEAF_LIMIT_EXCEEDED​
标注片段数量超过质检限制。​
标准化后的叶子片段超过 600 个。​
400​
QC_BATCH_CASE_LIMIT_EXCEEDED​
批量结果数量超过限制。​
批次超过 2000 个 Case。​
400​
QC_BATCH_RESULT_INVALID​
批次结果不符合输入要求。​
Case 不是已完成的有效质检结果,或证据不足结果缺少策略依据。​
400​
QC_BATCH_MANIFEST_INVALID​
批次结果清单格式不合法。​
JSONL 无法解析或某行不符合 BatchCase 格式。​
401​
Authorization.Missing​
Missing Authorization.​
缺少 LAS 鉴权信息。​
401​
ApiKey.InValid​
The api key is invalid.​
LAS API Key 不合法。​
500​
QC_REVIEW_UNAVAILABLE​
质检模型审核不可用。​
模型调用、响应校验或审核执行失败。​
500​
DEADLINE_EXCEEDED​
质检执行超时,请稍后重试。​
任务超过执行总预算。​
500​
InternalError​
Internal error.​
任务上下文保存、凭证获取、队列提交、结果解析或查询失败。​
​
​
最近更新时间:2026.11.05 13:45:20
这个页面对您有帮助吗?
有用
有用
无用
无用