功能概述
可视化知识处理拥有外部输出能力,支持将系统产生的非结构化数据、离线库表回流到自己的原生系统中用于二次数据生产挖掘。通过可视化知识处理将加工好的数据输出至系统之外的数据存储中,从而实现数据资产的输出能力构建,是否允许输出可咨询数据连接的所有者,如系统支持输出,可在数据连接配置里打开开关。本文将为你介绍如何使用外部输出算子。
目前支持的外部存储:Maxcompute、OceanBase Oracle、Mysql、BytehouseCE、火山云 TOS
说明
- 该功能为付费功能,如有需求请请联系您的商务经理。
- 可视化知识处理外部输出(付费功能): 数据输入与内容生产逻辑自由灵活,支持通过拖拽的方式可视化地完成数据处理,并支持将生产加工后的数据回流离线数仓,实现更灵活的数据输出与应用。
使用限制
用户需具备 项目中心-权限-按内容管理-模块-数据接入-可视化知识处理-新建任务 权限。
操作步骤
操作流程图

目前支持的外部存储
数据源 | 支持版本 | 环境 |
|---|
火山云 TOS | 2.1.0 | 私部&SaaS |
MaxCompute | 1.20.2 | 私部&SaaS |
OceanBase Oracle / Mysql | 1.20.2 | 私部 |
Oracle | 1.20.2 | 私部 |
BytehouseCE | 1.22.2 | 私部&SaaS |
MySQL | 1.20.2 | 私部 |
具体操作步骤如下:
- 配置数据连接。
各数据源的数据连接配置方式,请参见:

- 在企业知识引擎左侧导航栏选择数据接入 > 可视化知识处理。
- 在任务列表中新建离线任务或打开需要添加外部输出算子的任务。
- 添加外部输出算子,并完成以下配置。
- 输出至系统外部储存

相关参数如下:
- 数据连接:选择一个支持数据写入的目标数据源。
- 数据库类型的数据连接,需要完成以下配置:
- 数据库:选择数据源下的目标数据库。
- 表名:设置数据输出的目标表名。如果该表不存在,系统将自动根据上游字段信息创建。
- 火山云 TOS 数据连接,需要完成以下配置:
- 分区字段:最多可选择 3 个分区字段,字段顺序是分区顺序。
- 文件格式:支持 csv、jsonl、txt
- 桶名:需要输出到的目标桶名。
- 文件目录:需要输出到的目标文件目录。
- 文件名称:存储的文件名称。
- 数据输出模式:支持常规格式、营销套件内部格式,可通过页面提示查看具体格式。

- 依赖配置
对任务的数据依赖进行配置,支持配置上游依赖和自依赖
- 上游依赖支持系统自动配置和自定义配置。
- 系统自动配置会自动生成上游数据依赖,您可以根据实际情况决定是否使用。
- 当选择自定义配置时,您可以手动新增数据依赖

进入新增依赖界面后,您可以搜索对应任务或者数据集创建依赖,选择对应任务后会生成对应的依赖。若您需要通过手动创建系统自定义依赖,可以联系技术支持获得帮助。

- 自依赖:
- 开关打开时,则当前该任务依赖过去该任务的运行情况,并支持设置数据最早回溯时间配置。若上一个周期的任务失败,无法运行下一个周期的任务。
- 当开关关闭时,则当前该任务不依赖过去该任务的运行情况,即使上一个周期的任务失败,也可以正常运行下一个周期的任务。

- 高级配置
支持对该算子执行任务的高级参数进行进一步配置。

- 监控配置
支持设定多条报警规则,每条报警规则内最多设置5条报警条件,规则之间符合或的逻辑关系,即满足任意一条则将触发通知,支持用户根据下拉框选择结果异常报警、失败报警、超时报警3种类型。
当任务执行出现符合报警条件的情况时,支持通过飞书、钉钉等方式进行通知指定用户
