数据库传输服务
数据库传输服务
数据库传输服务
文档指南
请输入
产品简介
预检查项
快速入门
数据订阅快速入门
数据迁移
创建 MySQL 数据迁移任务
创建 PostgreSQL 数据迁移任务
源为火山引擎版 PostgreSQL
源为公有网络 PostgreSQL
源为专有网络 PostgreSQL
创建 SQL Server 数据迁移任务
源为火山引擎 SQL Server 版
源为公有网络 SQL Server
创建 Redis 数据迁移任务
源为火山引擎版 Redis
源为公有网络 Redis
源为专有网络 Redis
创建 MongoDB 数据迁移任务
源库为火山引擎版 MongoDB
源库为公有网络 MongoDB
源为专有网络 MongoDB
创建 Supabase 数据迁移任务
源为公网自建 Supabase
源为专有网络 Supabase
数据订阅
创建 PostgreSQL 数据订阅任务
创建 MongoDB 数据订阅任务
数据同步
创建 MySQL 数据同步任务
源为火山引擎版 MySQL
源为火山引擎版 veDB MySQL
源为公有网络 MySQL
创建 Redis 数据同步任务
源为火山引擎版 Redis
源为公有网络 Redis
源为专有网络 Redis
创建 PostgreSQL 数据同步任务
源为火山引擎版 PostgreSQL
源为公有网络 PostgreSQL
源为专有网络 PostgreSQL
创建 MongoDB 数据同步任务
源为火山引擎版 MongoDB
源为公有网络 MongoDB
源为专有网络 MongoDB
最佳实践
数据迁移最佳实践
数据订阅最佳实践
API 参考
数据传输
数据订阅（消费组管理）
数据校验
附录
常见问题
常见通用问题
常见预检查报错
故障排查
相关协议
- 文档首页
数据库传输服务快速入门数据订阅快速入门创建并启动数据订阅任务
复制全文
下载 pdf创建并启动数据订阅任务
文档反馈
问问助手数据库传输服务 DTS 提供多种类型的数据库订阅服务。本文以创建火山引擎版 MySQL 数据订阅任务为例，介绍如何通过 DTS 创建并启动数据订阅任务。
前提条件
- 已创建 RDS MySQL 实例和数据库。详细信息，请参见创建 RDS MySQL 实例和创建数据库。
- 如果通过专有网络 Kafka 的方式消费数据，则按需设置消费端信息，具体如下所示：
- 在使用 VPN 实现数据订阅时，自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作，请参见搭建云上 VPC 与云下多数据中心网络互通。
- 在需要使用专线实现数据订阅时，您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作，请参见配置专线连接。
- 当通过消息队列 RocketMQ 版消费数据时，需提前创建 RocketMQ 实例和密钥。详细信息，请参见创建 RocketMQ 实例和创建密钥。
- 在通过云原生消息引擎消费数据时，需提前准备以下环境：
- 联系云原生消息引擎技术支持或提交工单申请开启公共服务区连接地址，使数据库传输服务 DTS 可以访问云原生消息引擎目标实例。
订阅前准备
- 白名单与访问权限：当数据库实例的接入方式选择的是专有网络时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将专线所打通的 VPC 子网网段添加至数据库实例的白名单或安全组中。更多信息，请参见添加 DTS 服务器的 IP 地址段。
- 网络连通性：创建数据订阅任务之前，请确认源库和消费端的网络连通性与服务可用性。
- 您还可以根据预检查项中的说明，来检查源库和目标库中各订阅对象做相应准备。更多详情，请参见预检查项（MySQL）。
限制说明
限制类 | 说明 |
源数据库限制 |
说明 在源库的实例版本大于等于 5.6 时，需设置参数 gtid_mode 为 ON。
|
消费端限制 |
说明
|
其他限制 |
|
支持的 SQL 操作
增量订阅支持的 SQL 操作如下表所示。
操作类型 | SQL 操作语句 |
DML | INSERT、UPDATE、DELETE |
DDL | ALTER TABLE、CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE |
操作步骤
- 登录 DTS 控制台。
- 在顶部菜单栏，选择项目和地域。
- 在左侧导航栏，单击数据订阅。
- 在数据订阅列表页面，单击创建订阅。
- 在配置源库页面，配置以下参数信息。
- 类别参数说明基本信息任务名称（可选）自定义订阅任务名称。长度需在 256 个字符内。说明若未进行设置，系统将按照命名规则，默认生成一个以 dts- 开头命名的任务。链路规格按需选择订阅任务的链路规格，当前仅支持 Standard。说明基本配置选择已有数据源您可以按需选择是否使用已录入的实例：
- 使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。
- 不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
实例类型选择 MySQL。接入方式选择火山引擎版 MySQL。是否跨火山引擎账号按需选择是否跨账号传输数据，取值如下：- 本账号：选择本账号时，表示仅在本账号内实现数据传输。
- 跨账号：选择跨账号时，表示将实现两个账号间的数据传输。
说明- 在进行跨账号传输数据时，您需要通过目标端所在的账号登录数据库传输服务 DTS 控制台。
- 跨账号进行数据传输前，您需要在源端的主账号内创建 IAM 角色并授权。详细操作，请参见如何授权用户实现跨账号传输数据。
跨账号ID输入源库所属的火山引擎账号 ID。说明在选择跨火山引擎账号进行数据传输时，需配置该参数。跨账号角色输入已授权 DTS 访问跨账号资源的 IAM 角色。说明在选择跨火山引擎账号进行数据传输时，需配置该参数。MySQL 实例从下拉列表中选择目标实例。节点类型按需选择节点类型，当前支持选择主节点和只读节点。说明MySQL 只读节点从下拉列表中选择目标只读节点。说明在实例中创建了只读节点，且节点类型选择只读节点时，支持配置此参数。数据库账号输入数据库账号信息。数据库密码输入数据库密码。测试连接当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：- 连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。
- 连接认证失败，无法正常创建连接， 请联系客服：当出现该报错提示时，请提交工单联系技术人员。
中间件配置选择已有数据源您可以按需选择是否使用已录入的实例：- 使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。
- 不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
订阅内置中间件私有网络从下拉列表中选择目标私有网络。子网从下拉列表中选择目标私有网络内的子网。说明目标私有网络内的子网至少要包含 1 个可用 IP。客户自有中间件消息队列 Kafka 版Kafka 实例从下拉列表中选择目标实例。Topic从下拉列表中选择目标 Topic 信息。Kafka 用户输入 Kafka 用户名。说明仅支持 SASL 认证且认证机制为 PLAIN，此处应指定为 PLAIN 机制的用户名。密码输入 Kafka 用户密码。专有网络 KafkaBroker输入所有 Broker 的 IP 地址及端口号，格式为 host1:port1，例如 10.1.1.1:9093。当存在多个 Broker 时，需使用英文逗号（,）隔开。Topic输入目标 Topic 信息。私有网络从下拉列表中选择目标私有网络，具体如下所示：- 专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。
- VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。
子网从下拉列表中选择私有网络中的子网。说明在订阅专有网络 Kafka 实例时，您需要提前在源端的白名单或安全组策略中，添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。Kafka 用户输入 Kafka 用户名。说明仅支持 SASL 认证且认证机制为 PLAIN，此处应指定为 PLAIN 机制的用户名。密码输入 Kafka 用户密码。消息队列 RocketMQ 版RocketMQ 实例从下拉列表中选择目标实例。Topic从下拉列表中选择目标 Topic 信息。AccessKey IDAccessKey Secret输入密钥的 AccessKey Secret。云原生消息引擎BMQ 实例从下拉列表中选择目标实例。Topic从下拉列表中选择目标 Topic 信息。BMQ 用户输入云原生消息引擎 BMQ 用户名。数据库密码输入云原生消息引擎 BMQ 用户密码。测试连接当测试连接失败时，根据失败提示信息修改相关配置后，再次测试是否可以成功连接实例。具体提示信息如下：- 连接认证失败，请检查用户名和密码是否正确
- 当您将消息订阅到专有网络 Kafka 或消息队列 Kafka 版，出现该报错提示时，您需要确认用户名和密码的准确性。
- 当您将消息订阅到消息队列 RocketMQ 版，出现该报错提示时，您需要确认 AccessKey ID 和 AccessKey Secret 的准确性。
- 连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。
- 无效的 IP 地址：当出现该报错提示时，请确认 IP 地址的正确性。
- 连接认证失败，请检查网络是否正常：当您将消息订阅到专有网络 Kafka 时，才会出现该报错提示。当出现该报错提示时，请确认网络的连通性。
- 专有网络需要子网有 * 个可用 IP，当前私有网络内子网可用 IP 数不足，无法创建任务，请检查私有网络内子网资源：当您将消息订阅到专有网络 Kafka 时，才会出现该报错提示。当出现该报错提示时，您需要调整私有网络子网内可用的 IP 数量，以保证目标私有网络内子网内有足够的 IP。
Project 与计费项目标签（可选）单击添加标签，设置标签键和标签值，为实例添加标签。标签的键值对规则如下：- 键
- 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。
- 大小写敏感，且长度在 1~128 个字符内。
- 使用 UTF-8 编码的 Unicode 格式。
- 不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。
- （可选）值
- 支持任何语言、文字、数字、空格或符号（_.:/=+-@）。
- 大小写敏感，且长度在 0~256 个字符内。
- 使用 UTF-8 编码的 Unicode 格式。
说明- 标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者或环境等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。关于标签的详细信息，请参见标签概述。
- 支持模糊搜索选择已有标签键和标签值。
- 标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。
- 单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。
- 同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。
计费类型按需选择计费方式，当前支持按量计费和包年包月两种计费方式。说明购买时长按需选择包年包月的购买时长。说明在计费方式选择包年包月时，支持设置购买时长，同时您还可以勾选到期自动续费，系统会在任务到期前自动续费。
-
- 单击下一步:配置订阅对象。
- 在配置订阅对象页面，配置以下参数信息。
说明
- 若暂时不需要启动订阅任务，您可以在完成配置订阅任务对象后，单击页面右下角的保存，保存订阅任务，表示成功创建订阅任务后不启动此任务。
- 保存后该订阅任务的状态为待启动，当需要启动此任务时，在数据订阅列表页面，单击目标未启动订阅任务操作列下的配置订阅通道。具体参数信息，请参见步骤 5 及后续步骤。
- 参数说明基本信息订阅格式Kafka Partition 策略按需选择目标 Topic 的 Partition 接收策略。支持以下接收策略：
- 统一投递至 Partition 0
- 按照库名和表名的联合 hash 值投递到不同 Partition
- 按主键的 hash 值投递到不同 Partition
注意- 当接入方式选择专有网络 Kafka 或消息队列 Kafka 版时，支持配置此参数。
- 当订阅任务正式启动后，不支持以下操作：
- 在 DTS 控制台修改 Kafka Partition 的接收策略。
- 在 Kafka 中修改分区 Partition 的数量。
RocketMQ 队列策略按需选择目标 Topic 的队列接收策略。支持以下接收策略：- 按照库名和表名的联合 hash 值投递到不同队列
- 按主键的 hash 值投递到不同队列
注意- 当接入方式选择消息队列 RocketMQ 版时，支持配置此参数。
- 当订阅任务正式启动后，不支持以下操作：
- 在 DTS 控制台修改 RocketMQ 队列的接收策略。
- 在 RocketMQ 中修改队列的数量。
BMQ Partition 接受策略按需选择目标 Topic 的 Partition 接收策略。支持以下接收策略：- 统一投递至 Partition 0
- 按照库名和表名的联合 hash 值投递到不同 Partition
- 按主键的 hash 值投递到不同 Partition
注意- 当接入方式选择云原生消息引擎时，支持配置此参数。
- 当订阅任务正式启动后，不支持以下操作：
- 在 DTS 控制台修改云原生消息引擎 Partition 的接收策略。
- 在云原生消息引擎中修改分区 Partition 的数量。
订阅类型按需选择订阅类型，当前支持库表结构订阅、增量订阅和全量订阅。其中：- 当订阅数据投递选择订阅内置中间件时，订阅类型仅支持勾选增量订阅。
- 当订阅格式选择 Debezium JSON 格式时，订阅类型不支持选择库表结构订阅。
- 当订阅数据投递选择客户自有中间件，且接入方式选择消息队列 RocketMQ 版时，不支持同时勾选增量订阅和全量订阅。
订阅起始点设置从某个指定位点或时间点拉取 Binlog 日志，取值如下：- 系统默认：默认为任务启动时间点。
- 指定 GTID：在输入框内输入指定的 GTID，格式为 source_id:transaction_id。
- 指定 GTID_EXECUTED：在输入框内输入指定的 GTID_EXECUTED，格式为 source_id:transaction_id，当存在多个时，可使用英文逗号（,）隔开。
- 指定时间戳：单击输入框，选择日期，单击选择时间设置时间点，然后单击确定。
说明- 当订阅类型勾选了增量订阅时，支持此配置。
- 在订阅类型同时勾选了全量订阅和增量订阅时，订阅起始点默认为当前时间点且不支持修改。
- GTID、GTID_EXECUTED 必须是源端合法的值，否则预检查时会报错。
- 当选择指定时间戳时，您设置的时间必须要晚于源端 Binlog 的最早时间。当没有对应时间 Binlog 时，则选取最接近 Binlog 的起点。
订阅范围按需勾选订阅范围，当前支持 Insert、Update、Delete 和 DDL。说明当订阅类型勾选了增量订阅时，支持此配置。订阅对象在订阅对象中选择待订阅的对象，支持通过普通搜索和全局搜索方式查询目标对象。。选择目标订阅对象后，您可以在右侧已选择对象框中再次确认需要订阅的对象。同时，如果在订阅对象区域勾选了整库，则在已选择对象区域不支持展开该数据库。说明在订阅对象或已选择对象区域支持通过正则表达式搜索目标对象。高级配置已选库表支持重新单独对所选库表进行重新配置，具体配置如下：- 全量订阅：当订阅类型勾选了全量订阅时，支持按需勾选或取消目标表的全量订阅。
- 增量订阅：当订阅类型勾选了增量订阅时，支持按需勾选或取消目标表的增量订阅。
- Topic：您可以从下拉列表按需设置单张表投递的目标 Topic，同时，DTS 支持批量修改所有目标表的 Topic 名称，以快速实现数据的灵活路由和隔离。具体操作如下所示：
- 单击 Topic 后的批量按钮。
- 在批量设置 Topic 对话框，配置以下参数信息：
- 选择生效范围：按需选择需要应用的表的范围，支持在当前 Topic 名称基础上修改和在表名基础上修改。
- 选择对象：选择具体的操作对象。
- 规则设置：支持以下三种批量修改模式：
- 名称添加前后缀：以当前行 Topic 名称或表名为基准，在名称前或后添加指定字符。
- 统一更名：将选中的 Topic 名称统一替换为指定的新名称。
- 名称中统一减少：将选中的 Topic 名称中指定的字符批量移除。
- 单击应用，DTS 将自动按照设定的规则更新对应的目标 Topic。
当中间件配置的接入方式选择消息队列 Kafka 版或专有网络 Kafka 时支持该配置。同时，如果使用批量修改 Topic 名称的功能（如添加前后缀、统一更名），也需确保修改后的 Topic 名称在 Kafka 中已存在。- 指定计算 hash 值的列：输入用于计算 hash 值的列名。之后，将按照此列的 hash 值，将数据投递到指定 Partition 或队列。支持为所有库表批量选择计算 hash 值的列。当投递策略选择按指定列的 hash 值投递到不同 Partition或按指定列的 hash 值投递到不同队列时支持该配置。
开启 ETL 配置- 选择是否开启 ETL 功能。
- 是：表示开启 ETL 功能。
- 开启 ETL 规则后，单击快速配置字段映射/过滤规则，在快速配置字段映射/过滤规则对话框配置同步对象，单击确定，即可快速生成 ETL 语句。
- 在开启 ETL 功能后，您可以参考 DSL 语法配置数据处理规则，在 Code goes here... 输入框内输入数据处理 ETL 规则即 DSL 脚本，单击校验语法，验证数据处理语句是否正确。
- 您也可以单击调试配置测试您创建的 ETL 规则的效果，具体调试方式，请参见通过 ETL Playground 工具校验 ETL 规则。
- 否：表示不开启 ETL 功能。
- 请根据需要选择是否对过滤 OnlineDDL 产生的 DML 进行快速配置。如需配置，请单击快速配置 OnlineDDL 产生的 DML。
- 在 OnlinDDL 工具为 gh-ost 时，过滤临时表_表名_ghc、_表名_gho、_表名_del 到目标库。
- 在 OnlinDDL 工具为 pt-osc 时，过滤临时表_表名_new、_表名_old 到目标库。
- 您需要确认待同步表中不存在符合临时表命令方式的表。
错误重试时间源库或目标库断连后，若能在该时间内重新连上，订阅任务即可自动恢复。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。订阅 Begin/Commit按需设置是否按照事务维度进行订阅消息，从而确保消息的一致性和完整性。说明需要同时满足以下条件时，才支持配置该参数：- 订阅格式选择火山引擎 Proto 、Canal Proto、Canal JSON 或 Avro。
- 订阅数据投递选择订阅内置中间件、订阅数据投递选择客户自有中间件且接入方式选择消息队列 Kafka 版或专有网络 Kafka。
- 接入方式选择消息队列 Kafka 版、专有网络 Kafka 时，Kafka Partition 策略选择统一投递至 Partition 0。
订阅所有字段按需设置是否订阅所有字段。在 Canal JSON 格式的 Update消息中，默认订阅完整的前镜像信息。如果仅需订阅变更列的前镜像，则可以通过此参数进行配置。- 是：默认值，表示订阅 UPDATE 语句中更新字段所在行的完整前镜像。
- 否：表示仅订阅 UPDATE 语句中更新字段的前镜像。
说明只有当实例类型为 MySQL，中间件接入方式为消息队列 Kafka 版或专有网络 Kafka，且订阅格式选择 Canal JSON 时，才支持配置该参数。禁用科学计数法按需选择 MySQL 数据写入到 Kafka 时的数值类型，当选择是时，FLOAT 和 DOUBLE 类型的数据将被转为常规数值格式，不再使用科学计数法。- 只有当实例类型为 MySQL，中间件接入方式为消息队列 Kafka 版、专有网络 Kafka或消息队列 RocketMQ 版，且订阅方式至少包含全量订阅和增量订阅中的一个时，才支持配置该参数。
- 该方式会改变订阅数据的输出格式，请根据下游需求谨慎设置。
时区配置该参数用于指定数据订阅中 Timestamp 类型的输出时区（默认 UTC）。如果下游需按本地时区解析或与业务时间对齐，您可以按需选择对应时区。只有当实例类型为 MySQL，中间件接入方式为消息队列 Kafka 版、专有网络 Kafka或消息队列 RocketMQ 版时，且订阅方式至少包含全量订阅和增量订阅中的一个，才支持配置该参数。
-
- 单击预检查。
- （可选）当创建的任务已有预检查时，您可以根据以下提示确认是否重新发起预检查，当需要重新发起预检查时，请在是否重新发起预检查对话框，单击确定。
- 若源端和目标端的数据库实例未做修改，则无需再次发起预检查。
- 如果修改了源端、目标端的数据库实例信息或订阅任务的参数配置，那么建议您重新发起预检查，否则可能会致使任务启动失败或者任务中断。
- 在预检查配置向导页面，根据检查结果执行以下操作：
- 单击操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。
- 单击操作列的忽略，忽略本次告警继续启动订阅任务。同时，也可以单击忽略全部，一键忽略全部告警信息。
- 在预检查页面右下角，单击确认订单。
- 根据创建任务的计费类型，选择配置方式：
- 按量付费
- 在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。
- 包年包月
- 在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。
- 在确认订单信息配置向导页面，确认实例的计费信息。
- （可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。
- （可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。
- 单击下一步。
说明
在支付完成配置向导页面，显示支付成功则任务创建成功。
成功创建数据订阅任务后，您可以在数据库传输服务 DTS 控制台的订阅任务列表查看到数据订阅任务。
相关 API
API | 描述 |
调用 CreateTransmissionTask 接口创建数据库传输服务任务。 | |
调用 ModifyTransmissionTask 接口修改传输任务。 |
最近更新时间：2026.09.02 11:01:48
这个页面对您有帮助吗？
有用
有用
无用
无用