本文介绍流式计算 Flink 版支持的 CDC Pipeline 连接器。
下表列举了流式计算 Flink 版目前提供的连接器,以及各连接器支持的源表 & 结果类型。
连接器 | 描述 | 源表 | 结果表 | 引擎版本 |
|---|---|---|---|---|
MySQL | 提供从 MySQL 数据库读取快照数据和增量数据的能力,并提供端到端的整库数据同步能力 | ✅ | ❌ | Flink 1.16、 |
PostgreSQL(公测) | 提供从 Postgres 数据库读取快照数据和增量数据的能力 | ✅ | ❌ | Flink 1.16、 |
MongoDB(公测) | 提供从 MongoDB 数据库读取快照数据和增量数据的能力 | ✅ | ❌ | Flink 1.16、 |
Kafka | 支持从 Kafka 同步 JSON、Debezium-JSON 等格式的数据 | ✅ | ✅ | Flink 1.16、 |
Paimon | 提供整库同步、Schema 变更同步到 Paimon 的能力 | ❌ | ✅ | Flink 1.16、 |
Iceberg (公测) | 提供整库同步、Schema 变更同步到 Iceberg 的能力 | |||
Starrocks | 提供整库同步、Schema 变更同步到 Starrocks 的能力 | ❌ | ✅ | Flink 1.16、 |
Doris | 提供整库同步、Schema 变更同步到 Doris 的能力 | ❌ | ✅ | Flink 1.16、 |
Bytehouse CDW | 提供整库同步到 Bytehouse CDW 的能力 | ❌ | ✅ | Flink 1.16、 |
Elasticsearch | 提供整库同步、Schema 变更同步到 Elasticsearch 的能力 | ❌ | ✅ | Flink 1.16、 |
VikingDB(公测) | 提供整库同步到 VikingDB 的能力 | ❌ | ✅ | Flink 1.16、 |
HBase(公测) | 提供整库同步到 HBase 的能力 | ❌ | ✅ | Flink 1.16、 |
Redis(公测) | 提供整库同步到 Redis 的能力 | ❌ | ✅ | Flink 1.16、 |
Values | 提供数据写入调试的能力 | ❌ | ✅ | Flink 1.16、 |
TOS(公测中) | 提供捕获 TOS 对象元数据变更的能力, | ✅ | ❌ | Flink 1.16、 |
Flink CDC 3.4 版本支持同步以下 Schema 变更事件:
事件类型 | 描述 |
|---|---|
| 增加字段 |
| 变更字段类型 |
| 自动建表 |
| 删除字段 |
| 删除表 |
| 重命名字段 |
| 清空数据表 |