Flink CDC 任务

TOS 数据源

支持从火山引擎对象存储 TOS 中实时同步对象的元数据变更。

公测

TOS（公测中）

连接器

VikingDB Connector

支持对接写入火山 VikingDB 向量数据库。

公测

Lance Connector

支持多模态数据湖 Lance 格式。支持流批读写操作。

公测

Milvus Connector

支持对接写入 Milvus 向量数据库。

公测

TLS 原生 Connector

支持对接火山 TLS 原生接口。支持流式读写能力。

公测

TOS-CDC Connector

支持全增量消费火山对象存储 TOS 的多模态数据。

邀测

Flink CDC 任务

MongoDB 数据源

支持同步 MongoDB 文档数据库。

公测

PostgreSQL 数据源

支持从 PostgreSQL 实时同步数据库变更数据。

公测

Iceberg 数据目的地

支持将 Flink CDC 数据写入 Iceberg。

公测

VikingDB 数据目的地

支持将上游实时数据同步写入 VikingDB。

公测

Elasticsearch 数据目的地

支持将数据同步至 Elasticsearch 以便检索、查询、分析。

公测

HBase 数据目的地

支持将数据写入 HBase，满足高并发存储需求。

公测

Redis 数据目的地

支持将数据写入 Redis，满足低延迟访问场景。

公测

作业开发与运维

项目级别 TLS 日志导出配置

支持按项目配置 TLS 日志导出能力，便于更加长期存储重要日志。

新增

数据集成（Connectors）

Flink 2.2 集成 ByteHouse Connector

Flink 2.2 集成 ByteHouse Connector。

新增

Flink 2.2 支持 Ark Provider

Flink 2.2 支持 Ark 方舟大模型 provider，支持内置调用方舟大模型。

新增

CDC 可观测增强

CDC 任务提供更完善的可观测性指标与日志。

优化

Flink 1.20 引擎 CDC-3.4 作业

Flink 1.20 引擎完成对 CDC-3.4 作业的支持。

新增

数据湖（Paimon/Iceberg）

Paimon Hive 3.1 Connector（EMR）

支持 EMR 场景 Paimon Hive 3.1 Connector。

新增

Paimon failover 日志增强

Paimon failover 后日志增加分片读取相关信息以便排查。

优化

Paimon 流读支持设置单独并发

支持 Paimon Source 使用独立配置并发。

新增

引擎优化

Flink 1.17 版本推荐标签

Flink 1.17 版本增加推荐标签，指引用户升级。

优化

Session 集群自动关闭

Session 集群支持基于空闲策略自动关闭。

新增

作业开发与运维

Flink AI 作业创建卡片

前端增加 Flink AI 作业创建卡片入口。

新增

Jar 加密变量脱敏

支持 Jar 任务中指定参数，控制 main args 中的加密变量不再打印到日志。

优化

资源与权限

资源池跨 AZ 可用

资源池支持跨可用区（AZ）部署，内置跨可用区资源调度机制，能够均衡各可用区资源负载，解决单可用区资源短缺引发的业务扩容阻塞问题，有效提升集群整体资源供给弹性。

新增

Flink 容器磁盘空间优化

优化 Flink 容器磁盘空间策略：单 CU 分配 20GB 磁盘，单容器上限 200GB。

优化

数据集成（Connectors）

Flink SQL CDC 切换 3.4.0

Flink SQL CDC 直接切换至 3.4.0 新版本。

升级

Flink CDC Kafka Source

Flink CDC 正式支持 Kafka Source。

新增

ByteHouse Pipeline Sink 注释建表

Flink CDC ByteHouse Pipeline Sink 支持带注释的自动建表与表结构变更。

新增

MySQL 注释同步到 ByteHouse

FlinkCDC 支持将 MySQL 注释同步到 ByteHouse。

新增

CDC 前端透出 Kafka Source

CDC 任务前端透出 Kafka Source 选项。

优化

MongoDB CDC 默认参数

mongo-cdc source 增加默认参数以简化配置。

优化

1.17 RocketMQ 并发参数

Flink 1.17 RocketMQ connector 支持scan.parallelism/sink.parallelism并发参数。

新增

1.16/1.17/1.20 ByteHouse Connector 升级

ByteHouse 云数仓版/企业版 Connector 在 1.16/1.17/1.20 版本上升级至 1.28。

升级

数据湖（Paimon/Iceberg）

Paimon Sequence Group 排序

Paimon 支持 Sequence Group 排序顺序控制。

新增

Paimon 从时间位点回拨

Paimon 数据源支持全新启动时按时间位点回拨消费。

新增

引擎优化

Flink 2.2 ToB 版本

Flink 2.2 ToB 版本上线，支持 Kafka 和 Paimon 等 Connector，支持 Flink AI SQL 能力。

新增 Beta

Flink 1.20 功能优化

Flink 1.20 Beta 版本发布，支持 CDC-3.4 版本、作业模板与网络探测能力、JSON 复用与 Native JSON 解析等重大功能。内置 Iceberg、Paimon、Hive、Kafka 等主要 Connector。

新增 Beta

作业开发与运维

多版本运行环境管理

作业运行环境与多版本管理能力上线。

新增

SQLAI 算子

SQL 场景引入 SQLAI 算子，支持智能生成。

新增

Flink 配置模板

作业开发支持 Flink 配置模板复用。

新增

临时查询二期

临时查询二期支持 DQL/DML/DDL 全类型。

新增

Pyflink 体验优化

PyFlink 使用体验整体优化。

优化

新建作业注释模板

新建任务时增加注释模板。

优化

操作审计对接

官网操作审计对接更细粒度的审计日志。

优化

运行事件用户信息

运行事件中透出用户操作人相关日志与 stop 操作用户信息。

优化

运行中作业改名

支持运行中的任务进行改名。

优化

资源与权限

权限优化

IAM 新增 FlinkDeveloperAccess 权限组，以及开服时无 FlinkFullAccess 权限的提示优化。

优化

资源池类型互转

按量/包月资源池支持转为混合弹性资源池。

优化

强制退订资源池

支持对资源池执行强制退订。

优化

SSO 角色登录

支持通过 SSO 完成角色登录，以及对于 Flink 登录角色授权

新增

AI 能力建设

Flink AI 模型产品化

Flink AI 模型产品化并支持租户计费能力。

新增

SRE Agent 全量开放

SRE Agent 能力全量开放给云上租户。

新增

API & SDK

主要接口 SDK 开放

开放所有主要业务接口的 SDK。

新增

数据目录

元数据管理三期

新增对 LAS Paimon 与 LAS Iceberg 格式元数据的管理能力，扩展了平台支持的数据湖生态。
支持 Paimon 和 Iceberg 的 LAS Catalog 免 hive-site.xml 和 JAR 包上传，简化作业开发流程

新增

Paimon Connector 动态加载

支持动态加载 Filesystem、EMR Hive、LAS Hive 三种类型的 Paimon Connector，提升数据源接入的灵活性。

新增

Iceberg Connector 内置

在 Flink 1.17 SQL 中内置 Iceberg Connector，简化用户在 Flink SQL 作业中读写 Iceberg 表的操作。

新增

作业开发

Flink CDC 支持 Kafka Source

新增 Flink CDC 对 Kafka Source 的支持，允许用户直接从 Kafka 消费 JSON、Canal、Debezium 格式的数据进行实时同步。

新增

支持快捷键保存

在作业开发编辑器中增加 Ctrl+S 快捷键支持，提升了代码或配置的保存效率，改善了开发体验。

优化

升级 RMQ 版本

将 Flink SQL 内置的 RocketMQ Connector 升级至 4.9.8，以兼容并支持连接至 RMQ 5.x 集群。

优化

作业运维

支持定时自动调优

用户可根据业务周期预设时间策略，实现作业资源的自动扩缩容，以平衡成本与性能。

新增

保留运维界面搜索条件

在任务运维页面中，从任务详情页回退后不清空之前的筛选条件，优化了用户批量排查问题的操作体验。

优化

优化批作业指标上报

将批作业的监控指标上报逻辑从实例 ID 改为作业 ID，使得同一作业多次运行的指标可在监控图上连续展示。

优化

资源管理

资源池 Region 级 Quota

调整按量资源池上限为 1000CU 。

新增

优化资源池使用率展示

在资源池管理界面，调整了按量付费和包年包月类型的计算资源使用率展示方式，信息更清晰准确。

优化

可观测性

支持按项目/名称筛选告警

在监控告警策略配置中，新增支持按项目和资源名称规则进行任务筛选，实现了告警对象的动态管理。

新增

SRE Agent 前端样式优化

优化了 SRE Agent 诊断报告的显示样式，修复了部分 UI 问题，提升了问题诊断时的交互体验。

优化

AI 能力建设

构建 SRE Agent 能力二期

对企业级 SRE Agent 能力进行迭代，重点优化了 TLS 环境下的日志拉取机制，提升了远程运维诊断的可靠性。

新增

支持 MCP Server 调用

实现了 Flink 对 MCP Server 方式的开发调用支持，增强了与火山引擎生态产品的集成能力。

新增

数据目录

新增数据目录功能

支持 Paimon 类型 Catalog

新增 Beta

作业开发

文件管理功能

文件管理大幅优化，为客户提供更好的管理能力

1. 支持私有文件类型，支持更加严格的权限管理能力
2. 支持多版本管理，可以更新文件、查看历史版本、回滚历史版本等能力
3. 支持引用管理，查看所有引用文件的任务

新增

临时查询功能

支持临时查询能力，方便用户

1. 支持选择 Session 集群运行临时查询任务，当前支持 DQL 和部分 DDL 类型 SQL。
2. 支持格式化、运行、保存查询脚本，方便代码复用。

新增 Beta

作业开发管理

1. 支持界面化管理状态 TTL、状态后端（默认 rocksdb）等能力
2. 支持选择依赖文件中指定文件版本，或者固定历史版本

优化

Flink 引擎

Flink CDC 版本迭代

Flink CDC 3.4 版本全量发布，客户可以选择 Flink CDC 版本进行架构升级

升级

文件系统

以 Proton 作为默认的 TOS 文件系统访问，支持高性能的 TOS 读写访问。

升级

作业运维

支持作业优先级

Flink 任务支持标记优先级：

1. 支持高优、普通、测试任务，支持不重启实时标注任务等级，更好的管理任务。

优化

任务智能诊断

任务全新发布智能诊断功能，支持包括重启检测、处理分析、配置分析、资源使用分析等，帮助用户快速定位问题。

新增 Beta

告警优化

云监控告警会附加 Flink 项目信息，避免不同项目同名任务对告警进行干扰。

优化

资源池

混合弹性资源池

除按量、包月两种资源池之外，Flink 产品支持混合弹性资源池，更好的提供计算服务：

1. 固定部分：按照包年包月方式付费，用于常驻计算资源
2. 弹性部分：按照按量方式付费，用于临时和突发计算资源

新增

DNS 优化

DNS 输入优化，支持批量输入。

优化

DNS 支持私网解析

Flink 支持火山引擎私网解析（PrivateZone），支持以下场景：

• 把域名解析为 VPC 内的 IP 地址或公网 IP 地址
• 在 VPC 与自建 IDC/第三方云服务之间转发 DNS 查询请求

新增

项目概览

全新 UI 风格优化

产品导航栏优化，支持更好的视觉效果和交互体验

优化

项目概览优化

支持按量资源池和包月资源池分别展示已使用资源量

优化

数据目录

新增数据目录功能

支持可视化管理数据库、表等元数据功能，Flink 开发、元数据管理更加便利。

1. 支持 EMR-Hive、LAS-Hive 等 Catalog 对接
2. 支持数据库表元数据同步功能
3. 支持 Flink 任务免建表语句写入功能

新增 Beta

作业开发

变量管理优化

变量管理大幅优化，为客户提供更好的管理能力

1. 支持变量值编辑功能
2. 支持加密变量，更安全管理密钥等敏感信息
3. 支持 Flink-CDC、JAR、PyFlink 、自定义参数中引用变量值

新增

支持深度检查

深度检查持续优化

1. 可以支持 CDC 任务深度检查
2. 支持诊断 SQL 任务中的不确定性引发乱序的问题
3. 为 SQL 提供性能建议

新增

Flink 引擎

Flink CDC 版本迭代

支持 Flink CDC 3.4+ 兼容版本，可以支持更加丰富的数据下游

升级

Flink CDC 支持 BH 自动建表

Flink CDC 同步 ByteHouse CDW 表，可以支持根据上游数据表 DDL 事件自动建表。

优化

ByteHouse CE/CDW Connector 升级

ByteHouse CE/CDW connector 升级，
1.16 升级到 1.27.131-1.16
1.17 升级到 1.27.131-1.17

升级

作业运维

运行事件增加等级

运行事件增加了 INFO / WARN / ERROR 等级，方便用户根据事件等级进行查看和过滤。

优化

资源池

DNS 输入优化

DNS 输入优化，避免多次连续输入中的遗漏问题。

优化

作业开发

JAR 任务支持 KV 模式

JAR 任务支持 KV 模式，更好的支持多行、复杂参数的输入。

新增

网络连通性测试优化

支持直接选择 Session 集群，而不需首先选择版本。

优化

支持深度检查

支持 SQL 深度检查一期能力，包含语法语义检查。

1. 支持测试 Connector 连通性、权限校验、语法语义正确性
2. 支持定位快速检验中无法连通上下游而无法发现的语法错误

新增

Flink 引擎

内置支持 HNS 桶

Flink 1.17 及以上版本内置支持 HNS 分层桶

新增

支持 JSON 解析优化

支持 JSON 解析过程中对象复用，可以大幅提升 JSON 解析性能。

新增

Paimon 作业稳定性提升

Flink 1.17 及以上版本默认关闭 multiple-input 优化，避免 Paimon 多流 Join 过程中导致 Checkpoint 失败

优化

配置模板

支持复制模板

支持复制模板，对于配置参数特别多的模板可以支持一键复制，避免重复填写。

新增

优化模板展示样式

对于大量依赖文件的配置模板进行样式优化，便于管理

优化

资源池

支持 PLGW 网络优化

可以大幅减少客户使用 IP 资源用量，从原来每个 POD 使用 1 个 IP，优化为整体资源池使用 1 个 IP。

邀测功能

作业开发

网络连通性测试

支持 Session 集群测试资源池、数据源与 Flink 引擎的网络连通性，方便作业开发和问题排查。

新增

Flink CDC 变量引用

Flink CDC 支持引用环境变量或项目变量，实现配置动态化。

新增

作业运维

0.5 CU 容器稳定性优化

优化小规格容器运行逻辑，减少内存风险，提升长周期任务稳定性。

稳定性

数据入湖与性能指标增强

新增数据入湖延迟、任务吞吐量等监控指标，优化告警策略，提升运维效率。

新增

日志相对时间选择

日志模块支持相对时间（如近15分钟）及时间段筛选，便于快速定位问题。

优化

连接器

内置 LAS Catalog 支持

无需上传自定义 Connector，内置 LAS Catalog，简化元数据连接流程。

新增

资源池

IAM 标签下拉筛选

创建资源池时支持下拉筛选已有 IAM 标签，提升标签管理效率。

优化

配置模板

默认模板设置

支持将常用配置设为默认模板，新建任务时自动加载，减少重复选择。

新增

作业开发

变量管理

新版作业开发支持变量管理、配置模板、连接器管理等模块，更加便利支持

新增

网络参数

产品内置开启网络参数，跨 VPC 和外网访问的时候不需要增加额外自定义参数。

新增

Session 调试

支持 Session 调试选择 Flink 1.17 的集群版本。

新增

作业类型

作业开发支持 pyflink 作业开发（仅支持 1.17 之后的 Flink 版本）

新增

Flink Connector

Flink CDC

1. Flink MongoDB CDC 数据源支持忽略 delete 事件。
2. Flink CDC 支持 Paimon 0.8.2 字节加强版。
3. Flink CDC 支持 Paimon-LAS 数据下游。

优化

ByteHouse Connector

升级 ByteHouse 企业版/云数仓版内置的 Connector 版本到 1.27.109_patch5-1.16 最新稳定版本

优化

官网对接

项目筛选

支持产品顶导的项目筛选空间

新增

项目管理

支持在项目管理中按照标签等维度管理 Flink 产品相关资源

新增

项目分账

支持按照项目、标签维度进行分账等操作。

新增

Flink 版本

Flink 1.17

Flink 1.17 引擎版本持续优化，支持 Session 调试功能，并且支持存储过程语法、内置提供 Paimon 0.8.2 字节加强版本等。

Beta 发布

资源池管理

DNS 设置

支持在资源池界面化设置 DNS 信息，以满足私有域名访问的需求。

新增

作业运维

作业重启

除了作业停止、启动等基础功能，另外支持作业一键重启的功能，降低作业运维的操作复杂度

新增

文件管理

文件上传

使用文件分块上传，大幅提升 100MB 以上大文件上传的效率和产品稳定性。

新增

作业开发

新版作业开发功能，全新 UI 和交付风格，当前版本全量支持 SQL、JAVA、CDC 多种任务开发能力。

Beta 发布

作业运维

作业运维全新启动过程中支持 BMQ/Kafka 数据源按照时间位点进行启动。

新增

日志归档

Flink 作业支持将运行时日志按照日志级别要求导出到 TLS，做更加丰富的日志分析、告警功能。

新增

Flink Connector

支持 Kafka 跨集群同步方案，支持多云、多 Kafka 集群的数据同步。支持指定 Topic 白名单、通配符等，同时也支持从已有消费者组 Offset 无缝迁移 MirrorMaker 的流量

新增

Flink 版本

Flink 1.17 引擎版本持续优化，支持全量上下游，以及 native 引擎等企业级增强。

邀测发布

Flink CDC

新版作业开发支持全新 Flink CDC 3.x，支持以 YAML 配置的方式进行作业开发，支持整库同步、分库分表同步、Schema 变更同步和数据转换 Transform 等功能。

Beta 发布

作业开发

新版作业开发功能，全新 UI 和交付风格，为开发者带来更好的 Flink 任务开发体验。当前支持 Flink CDC 开发。

Beta 发布

作业锁定

作业开发支持锁定功能，允许开发者多人并发的时候避免同时操作互相覆盖。

新增

文件管理

独立的文件管理模块，能够更加清晰、准确的管理所有 Flink 项目中的依赖文件。

新增

Session 集群

独立的 Session 集群管理模块，更加便利的管理用于调试的 Session 集群。

新增

灵活资源配比

当前作业提交任务的时候，支持灵活的 CPU 和内存资源配比。支持客户可以更精准的控制资源用量。

优化

业务延迟

云监控指标优化，业务延迟指标在 Kafka 维度下支持和 Kafka Lag 指标进行多指标复合，提升业务延迟指标告警的准确性。

优化

作业运维

在进入任务详情退出后，搜索条件不清空。

优化

版本选择

当前提交任务的时候默认会选择当前流式计算 Flink 引擎版本的主力版本。

优化

Paimon Catalog

支持 Paimon Catalog。

新增

任务跳过校验上线

SQL 任务支持跳过 SQL 代码深度校验，允许任务强制上线。

新增

Flink Python 任务

支持开发 Flink Python 类型任务。

新增

任务参数配置

任务配置参数增加提示，增加用户可读性。

优化

调度时长

任务上线时的调度时长参数增加提示，增加用户可读性。
调度时长表示再次调度的时间间隔，即任务拉起不成功会再次重试调度。

优化

任务资源用量

在任务列表页面，显示上线任务的 CPU 和 Memory 使用量，并支持按照升降序排列。

优化

任务日志

任务日志支持全屏化查看、下载到本地查看。

优化

项目融合

Flink 控制台的项目与火山引擎的项目融合，可以对不同业务或项目使用的云资源进行分组管理。

• 基于项目进行 IAM 授权，有利于维护资源独立、数据安全。
• 可从项目维度查看资源消费账单，便于计算云资源使用成本。

优化

新增 Flink Connector

新增 ByteHouse 连接器，包括云数仓版（bytehouse-cdw）和企业版（bytehouse-ce）

新增

支持外部 EMR Hive Catalog

Flink 控制台默认存在 Default Hive Catalog，现在也支持添加外部 EMR Hive Catalog。

新增

区分流批任务配置

根据任务类型自动区分任务配置参数。

优化

前端页面样式优化

优化产品概览页面。

• 提供常用项目便捷入口。
• 提供产品应用场景说明，增加云产品联动性。
• 提供最佳实践、快速入门等常用文档链接。

优化

支持小规格资源配置

配置 Task Manager 和 Job Manager 资源时，支持小规格资源配置，目前最小支持设置为 0.5 cu。

优化

Flink CDC Connector

新增 CDC 连接器，包括 MySQL CDC、MongoDB CDC、Postgres CDC、SQLServer CDC。

新增

支持任务失败自动拉起

任务运行过程中，如果出现异常导致整个任务运行失败，系统将根据配置的任务失败重试拉起策略尝试重新拉起任务。

• 最大重试拉起次数
• 重试拉起时间间隔

新增

资源池支持包年包月计费类型

支持创建包年包月计费类型的通用 VCI 资源池。
包年包月计费方式需要进行预付费，相较于按量计费价格更优惠。

新增

Flink 镜像缓存快照

默认支持 Flink 镜像缓存快照，能够提高容器启动速度。

新增

中心化架构优化

产品中心化架构调整，优化租户服务数量，极大地缩短产品初始化耗时。

优化

监控指标优化

补充 Flink 任务监控指标，更利于了解任务运行情况和排查故障问题。

优化

任务 Checkpoint 支持关闭

任务默认不启用 Checkpoint。
如需手动创建快照用于任务的失败恢复，需要开启 Checkpoint。开启时，可以设置 Checkpoint 间隔、超时时长等参数。

优化

任务重启策略

提供了多种任务重启策略，可根据业务需要选择合适的重启策略。

• 不重启策略
• 固定时间间隔重启策略
• 故障率重启策略
• 聚合故障率重启策略

新增

支持 Flink Batch 类型任务

新增 Flink Batch 类型任务，适配更多业务场景。

新增

元数据概览

提供元数据概览页，可以查看元数据表存储位置、表结构最近更新时间、表结构、分区列等信息。

新增

Flink 访问公网

在特殊场景下，需要 Flink 能访问其他云域公网资源。
在 Flink 参数配置中声明使用外部网络，并配置 SNAT 规则，即可实现公网访问。

新增

Flink 读写 TOS

Flink 提供了对象存储的读写能力。

新增

多引擎版本

支持 Flink V1.11 和 Flink V1.16 两个引擎版本，支持切换任务运行引擎。

新增

数据血缘

在任务开发侧，您可以配置上下游数据源信息，后续可在任务详情中查看数据血缘。

新增

任务版本管理

任务上线到运维侧，系统将会记录任务版本，支持版本对比、回滚历史版本。

新增

项目角色

新增项目普通用户（Project_Member）角色，仅对大部分项目资源有可读权限。

优化

产品初始化

更新产品初始化流程，需要关联 TOS 和 VPC。

更新

服务初始化

项目概览架构优化

• 项目独立，提供唯一的门户入口。
• 项目成员、角色和策略管理内置，以更方便的进行权限细粒度管控。

更新

• 项目管理
• 项目权限管理

IAM用户管理

支持导入 IAM 用户、移除 IAM 用户，导入的 IAM 用户可作为 Flink 项目成员。

新增

用户管理

项目管理

支持项目的创建、编辑、删除。

新增

项目管理

项目访问控制

项目是用于统一管理资源池、任务等资源的项目空间。不同项目相互隔离，相互独立。
主账号拥有其下所有项目及项目资源的权限；项目成员只拥有当前项目的相关权限。
项目内拥有独立的访问管控策略，使用“策略-角色-成员”的策略管控完整链路，保证成员权限最小化，实现项目内权限精细化控制。

新增

• 权限概述
• 成员管理
• 角色管理
• 策略管理

资源池管理

资源池是项目中用来管理计算资源的，资源池中的计算资源相互隔离，相互独立。
提交到资源池中的任务只能使用本资源池中的计算资源。
支持资源池的创建、删除。

新增

资源池管理

产品初始化

使用 Flink 产品前，需要先完成产品初始化，初始化过程需要关联 TOS 和 VPC。

新增

快速入门

工作空间管理

支持工作空间的创建、扩容、删除。

新增

工作空间管理