视频处理算子用于实现音视频相关的分段、总结以及融合等功能。通过本文您可以了解视频处理模块下所包含的各类算子的能力和使用方式。

企业管理员已为算子配置大模型，详情请参见设置大模型调用。

1. 视频智能理解-Qwen

利用Qwen多模态理解模型，同时理解视频中的画面与语音，进行视频内容总结、分场景/片段打标签。支持调用火山方舟豆包、Qwen 等多款大模型，对视频进行批量化的多模态内容理解。

2. 视频智能理解-Doubao

利用豆包多模态理解模型，同时理解视频中的画面与语音，进行视频内容总结、分场景/片段打标签。

3. 视频关键帧抽取

在视频处理场景中，关键帧抽取（提取视频中具有代表性、信息量丰富的帧，如核心画面帧、包含产品的帧）是非结构化视频数据处理的核心环节，广泛用于视频内容分析、AI 训练、内容检索等场景。

4. 音视频信息融合

利用大模型理解能力，将 ASR 结果与视频理解结果按时间轴进行分段融合。

视频智能理解-Qwen #

第一步：新建视频智能理解-Qwen算子 #

1. 点击「数据接入」，选择「可视化知识处理」，点击「新建」，选择「新建离线任务」。
   
2. 按照离线任务中的步骤完成离线任务创建，在处理节点时，选择为数据连接添加「视频处理」中的算子。
   

第二步：配置算子 #

1. 点击「视频智能理解-Qwen」，在基本信息页面，配置相关参数。

2. 点击测试，​输出测试内容，返回模型的测试结果。
   
3. 填写输出字段，​指定用于存储识别结果的输出字段名称。用户自定义输出字段，不支持首位空格，其余均支持，不超过64个字符。
   

第三步：测试执行 #

点击「测试执行」，在「测试执行结果」栏中查看输出结果。

视频智能理解-Doubao #

第一步：新建视频智能理解-Doubao算子 #

1. 点击「数据接入」，选择「可视化知识处理」，点击「新建」，选择「新建离线任务」。
   
2. 按照离线任务中的步骤完成离线任务创建，在处理节点时，选择为数据连接添加「视频处理」中的「视频智能理解-Doubao」算子。
   

第二步：配置算子 #

在流程画布中单击视频智能理解-Doubao 算子，并完成以下配置。

第三步：测试执行 #

完成算子配置后，算子会自动执行并输出数据预览，您需等待算子执行完毕后查看数据预览结果。

其中：

• 支持终止执行：在数据预览区域右上角点击终止执行。
  
• 终止执行后，支持重新执行。
  

您也可以点击「测试执行」，在「测试执行结果」栏中查看输出结果。

视频关键帧抽取 #

第一步：新建视频关键帧抽取算子 #

1. 点击「数据接入」，选择「可视化知识处理」，点击「新建」，选择「新建离线任务」。
2. 
3. 按照离线任务中的步骤完成离线任务创建，在处理节点时，选择为数据连接添加「视频处理」中的算子。
   

第二步：配置算子 #

1. 点击「视频关键帧抽取」，在基本信息页面，配置相关参数。

2. 输入配置

在 输入配置 区域，您需要指定待处理视频的来源。

3. 抽帧配置

在 抽帧配置 区域，您可以设置视频抽帧（即截图）的具体规则，以控制截取画面的频率和数量。

4. 存储配置

S3存储路径：​设置文件在 S3 存储中的路径。示例值：frames
URL有效期：​设置生成的结果 URL 的有效时间。单位为秒。示例值：604800

5. 高级配置

点击“高级配置”，可以配置任务执行的并发数和异常处理策略，可配置具体参数如下：

视频处理并发：​设置视频处理的并发任务数。该配置为必填项。
上传并发：​设置上传的并发任务数。
异常处理：​设置处理过程中遇到异常时的处理方式。该配置为必填项。您可以选择以下两种方式：

• 忽略：忽略异常，继续执行后续流程。
• 抛出：向上抛出异常，中断当前流程。

6. 输出配置

输出字段：可以自定义输出字段，不支持首位空格，其余均支持，不超过64个字。设置输出结果中包含帧 URL 的字段名称。示例值：frame_urls

第三步：测试执行 #

点击「测试执行」，在「测试执行结果」栏中查看输出结果。

音视频信息融合 #

第一步：新建音视频信息融合算子 #

1. 点击「数据接入」，选择「可视化知识处理」，点击「新建」，选择「新建离线任务」。
   
2. 按照离线任务中的步骤完成离线任务创建，在处理节点时，选择为数据连接添加「视频处理」中的「音视频信息融合」算子。

   说明

   「音视频信息融合」算子具有两个输入，分别对应音频结果输入和视频的图像结果输入。

   

第二步：配置算子 #

在流程画布中单击音视频信息融合算子，并完成以下配置。

• 页面左侧的连接配置：
  

  参数	说明
  连接方式	设置输入的连接方式，支持选择： 左连接：以左侧输入为主，右侧输入根据时间戳向左侧融合。 右连接：以右侧输入为主，左侧输入根据时间戳向右侧融合。 内连接：仅当左右两个输入在同一时间段都有数据时，才会进行融合。 全连接：保留左右两个输入的全部数据。
  连接字段	设置左右输入的连接字段关系，支持选择： 自动匹配：系统自动匹配连接字段。 自定义：由您自行设置需要连接的字段。

• 页面右侧的融合配置：
  

  模块	参数	说明
  模型信息	模型选择	如果企业管理员已经为算子配置大模型（详情参见上文前提条件），则支持选择大模型。您也可以选择自定义模型，并完成模型相关配置。
  	模型调用地址	应用的调用地址。
  	推理接入点	一般格式为ep-xxxxxxxxxx-yyyy，创建方式参考创建自定义推理接入点。
  	API Key	一般格式为xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx，获取方式参考获取 API Key 并配置。
  融合配置	ASR结果列	设置音频识别结果列。
  	视频理解结果列	设置视频的图像结果列。
  	融合提示词	自定义音视频融合提示词，指定融合规则、输出字段格式要求等。
  高级设置	并发大小	设置并发处理的任务数量。
  	超时时间	设置任务处理的超时时间，单位为毫秒（ms）。
  	重试次数	设置任务失败后的自动重试次数。
  	重试间隔	设置任务失败后每次重试之间的时间间隔。
  	异常处理	配置当任务发生异常时的处理策略。 支持以下两种策略： 终止任务：当发生异常时，立即终止当前任务的执行，并清除中间结果。这是默认选项。 忽略异常：当发生异常时，忽略错误（使用 null 填充数据）并继续执行任务的后续步骤。
  输出配置	输出字段	自定义输出字段。

• 页面右侧的输出字段：在字段列表中选择需要输入的字段，您可以查看各字段的字段名、原始名、类型以及来源。
  

第三步：测试执行 #

完成算子配置后，算子会自动执行并输出数据预览，您需等待算子执行完毕后查看数据预览结果。

其中：

• 支持终止执行：在数据预览区域右上角点击终止执行。
  
• 终止执行后，支持重新执行。
  
• 单击清洗建议，可根据系统给出的建议与原因，选择列后进行一键清洗。
  

您也可以点击「测试执行」，在「测试执行结果」栏中查看输出结果。