1

数据集成

• ByteHouse CDW 数据源配置时新增密码鉴权方式，支持通过用户名、密码来精准控制任务执行时 ByteHouse CDW 数据库的访问权限，提升用户数据安全及任务管理便捷性。
• REST_API 数据源配置新增“Token auto refresh auth” 验证方式。若您场景中需通过 Refresh Token 方式定期获取动态 Access Token 信息，可采用该验证方式，避免 Access Token 失效场景下任务执行失败，提升任务执行成功率。
• 实时整库同步解决方案执行详情的相关任务页签中，针对已删除的实时任务，优化列表展示逻辑：支持查看已删除任务的名称，且不开放操作入口，避免误操作并提升用户使用体验。
• 实时整库同步解决方案读取新增 SQLServer 数据源多库方式配置方案，提升数据同步效率。
• 离线整库解决方案进行提交停止操作时，支持对任务进行下游依赖情况检查，若存在下游依赖任务，则无法继续提交停止操作。
• 实时整库/分库分表解决方案在目标端为 LAS 数据源，且源端 datetime 类型时间戳字段需写入目标端 bigint 类型字段时，方案生成的批作业将默认增加高级参数 job.writer.date_precision = millisecond，自动将目标端字段转换为毫秒级时间戳，提升数据同步准确性。

• 配置 ByteHouse 云数仓版 数据源
• 配置 REST_API 数据源
• 实时整库同步（新版）
• 离线整库同步（新版）
• 高级参数

1

数据开发

• 离线任务提交上线时，优化上线检查机制，系统化梳理上线前的各项检查，并支持血缘解析的部分检查项不阻断任务整体上线，提升上线检查效率。

• 4 提交上线

2

运维中心

• 运维概览界面中项目下任务数量统计口径调整，运维中心展示的“全部任务总数”统计范围仅包含已发布至运维中心的启用任务与关闭任务，剔除未上线任务的统计。
• 运维中心监控告警选择短信发送时，界面增加提示，告知该方式将同时发送短信和邮件，避免用户误解，提升产品使用体验。
• 任务运维界面执行批量关闭任务时，界面增加提示：单次批量关闭的任务数量最多控制在 50 个及以内，避免影响操作性能。

• 运维概览
• 监控规则
• 任务运维

3

控制台

• 智能市场中，字段选择器、依赖预览等多个插件功能下调 DataLeap 服务版本限制，仅需 DataLeap 大数据分析版本即可使用。
• 创建项目时，用户可以手动选择是否将数据开发的项目创建为数据安全中的用户组。
• 标签组下已被上线任务使用的标签无法修改或删除，但可在标签组下新建标签，也可修改或删除其他未被使用的标签。

• 智能市场
• 创建项目
• 任务标签管理、标签管理

4

数据地图

• Hive 类型的 LAS Catalog 表支持修改表生命周期。
• 资产目录增加筛选条件，支持按通用筛选器筛选资产。
• 在 ByteHouse CDW 表详情页，支持编辑表负责人，支持查看 DDL。
• EMR Hive 表详情页修改生命周期时，支持关键分区永久保存配置、分区查询热度图等功能。
• 整合专辑管理功能：多个专辑管理功能分布在不同菜单下，比较杂乱，故下线我的库表 > 专辑管理功能，可统一在资产管理 > 上下架管理 > 专辑管理中管理。
• 修改 LAS Catalog 表时与引擎侧保持一致：禁止修改字段名、类型，禁止在表中间插入字段。
• 新增智能元数据生成功能，系统可根据血缘依赖、任务信息等内容生成表/字段的描述推荐，供您参考或采纳。

• 查看 LAS Catalog 表、管理 LAS Catalog 表
• 资产目录
• 查看 ByteHouse CDW 表
• 查看 EMR Hive 表
• 专辑管理
• 查看 LAS Catalog 表
• Table管理、查看 EMR Hive 表、查看 LAS 表、查看 LAS Catalog 表、查看 ByteHouse CDW 表等

5

数据质量

• 数据探查、数据对比时，一个 EMR_SERVERLESS_SPARK 指定队列下可包含多个不同的计算组，支持按计算组选择，选项内容格式为队列-计算组。
• 在任务调试时，可选择是否触发监控规。若开启触发，则任务调试成功后，会触发监控规则的执行。目前 EMR Serverless Spark 类型任务调试时暂不支持触发监控规则。

• 全量探查、数据对比
• 配置Hive模板规则、配置Hive自定义规则

6

数据安全

• 授权管理时，增加跳转到已开通的引擎的链接，便于用户在引擎端管理自定义数据库用户的数据权限。

• 授权管理

1

数据集成

• 数据集成数据源连通时，支持子网粒度的测试连通性，在数据源配置时，便能保障集成资源组所属 VPC 下的各子网均能与数据源连通，避免因子网连通问题导致任务执行异常。
• Doris 数据源新增支持连接串方式配置，支持用户在数据源配置时，直接输入自建的 Doris 连接串集群信息，满足用户自建 Doris 集群的数据同步需求。
• Rest_API 数据源配置时，请求参数配置多层级参数时，支持通过 col.pageNo、col.pageSize 等方式来对应配置多次请求参数和单页大小参数，满足更多场景下的 API 取数需求。
• 读取 ByteHouse CDW/CE 数据时，支持配置高级参数 job.reader.use_local_split=true。该参数适用于任务配置的切分键包含空值的场景，可避免任务执行时发生数据丢失或重复。
• 单通道写入 ByteHouse CDW 目标数据源，一键建表操作选择分区键时，当选择的分区字段数据类型为 DateTime、DateTime64、Date、Time 时间类型时，可进一步编辑选择 MONTH、DAY、HOUR 分区粒度，进行聚合分区，提高数据写入分区效率。
• 通道任务在配置字段映射时，新增映射检查按钮，源端与目标端不一致的字段名称将被标识出，提醒您注意检查。
• 实时整库解决方案在源端为 MySQL 8.0 及以上版本，且源表无主键字段属性时，优化支持填充“my_row_id”隐藏主键字段，并自动将其作为主键同步，避免同步方案执行失败。
• 在实时整库全增量方案中，新增高级参数 job.reader. add_zone_offset_to_zero_timestamp=true。当源端表字段中包含不同类型的时间字段（含时区和不含时区的情况并存），您可添加该高级参数，使不同类型的时间字段在转时间戳的处理逻辑上保持一致，可避免出现目标表字段时间值不一致的场景。
• 实时整库、离线整库解决方案提交时，优化源表和目标表的映射校验能力，在源表和目标表字段数不一致、或任务同步主键缺失等情况下，可通过映射校验功能，查看具体校验失败信息，并根据提示进行修改，优化使用体验。
• 实时数据采集方案新增 VeDB2Hive 通道，支持用户将 VeDB 数据同步至 EMR Serverless Spark 引擎下的 Hive 表中，满足用户对 VeDB 数据的实时分析需求。

• 配置数据源
• 配置 Doris 数据源
• 配置 REST_API 数据源
• 配置 ByteHouse 云数仓版 数据源
• 离线数据同步、流式数据同步
• 实时整库同步（新版）
• 实时数据采集方案（新版）

1

数据开发

• 手动添加上游依赖时，支持先按项目粒度筛选范围，再通过关键词搜索目标任务；同时默认过滤不可依赖的任务列表，使搜索结果更准确清晰，有效避免误选。
• 为保障任务操作安全，平台针对 EMR SQL、EMR StarRocks、EMR Serverless StarRocks 任务新增前置检查机制：当引擎以安全模式访问，且您对任务执行调试、上线、启用或修改运维责任人等操作时，平台将会自动检查相应责任人是否已在引擎绑定界面配置 EMR LDAP 账号映射。若未配置，平台将进行提示并拦截当前操作。
• EMR Hadoop 集群的 SQL 任务，当执行引擎为 Spark、Hive 或 Presto（Presto 仅支持临时查询任务）时，将在调试概览和调度运维日志概览页显示执行详情 Tracking URL 链接，便于您跳转 Yarn UI 界面查看任务执行详情。
• 临时查询 MySQL 任务优化：在不同数据源接入方式下，将统一 SQL 格式处理，编辑 SQL 时无需再指定数据库名称，提升 SQL 编写效率。
• 项目开发人员或管理员角色支持下载已上传的通用引擎资源文件，便于开发人员在本地维护资源，提升资源文件的复用率与维护效率。
• 流式计算 Flink 版引擎资源来源方式新增填写“对象存储（TOS）路径”配置方式，支持直接引用对象存储中的资源文件，提供更多的资源来源选项，提升配置灵活性与操作便捷性。
• 项目模板管理功能新增对 EMR SQL、EMR Serverless Spark JAVA 任务的模板配置支持，可统一设置并批量修改任务的执行队列、优先级及参数，提升任务配置操作效率。

• 任务调度依赖
• EMR SQL、EMR StarRocks、EMR Serverless StarRocks、任务运维
• EMR SQL
• 临时查询
• 资源库
• 模板管理、任务基础属性、EMR SQL、EMR Serverless Spark Java/Python