文档中心

数据库传输服务

创建 PostgreSQL 数据订阅任务

创建火山引擎 AIDAP 版 PostgreSQL 数据订阅任务

本场景介绍如何通过数据库传输服务 DTS 创建火山引擎 AIDAP 版 PostgreSQL 数据订阅任务。

前提条件

已创建创建火山引擎 AIDAP 版 PostgreSQL Workspace 和数据库。详细信息，请参见创建 PostgreSQL Workspace 和创建数据库。

通过消息队列 RocketMQ 版消费数据时，需提前创建 RocketMQ 实例和密钥。详细信息，请参见创建 RocketMQ 实例和创建密钥。

订阅前准备

创建数据订阅任务之前，请确认源库和消费端的网络连通性与服务可用性。

注意事项

目前仅支持通过消息队列 RocketMQ 版消费火山引擎 AIDAP 版 PostgreSQL Workspace 数据，且该功能目前仅在中国北京和上海两个地域发布。

目前该功能不支持跨火山引擎账号使用，且不支持 IP 白名单功能。

DTS 暂不对消息队列 RocketMQ 版消费火山引擎 AIDAP 版 PostgreSQL 数据的链路进行计费。

限制说明

限制类	说明
源数据库限制	数据库版本：当前支持 PostgreSQL 17 版本的 Workspace。
消费端限制	在消息订阅到 RocketMQ 时，具有以下限制条件：成功创建订阅任务后，不支持修改 RocketMQ 队列的接收策略。如果消费端为消息队列 RocketMQ 版时，创建订阅任务后，请勿修改分区队列的数量。 RocketMQ 不支持事务消息和延迟消息两种消息类型。
其他限制	在选择订阅数据投递时，目前仅支持选择客户自有中间件 RocketMQ。如果将消息订阅到客户自有中间件（除云原生消息引擎外），在数据订阅过程中，请勿修改自有中间件实例的参数配置，否则任务将订阅失败。在进行 PostgreSQL 同步任务时，PostgreSQL 的源端数据库账号需在源库创建触发器、函数等对象。因此，在同步过程中，请勿修改该账号在源库所创建的触发器、函数、内部表等对象的访问权限。将消息订阅到消息队列 RocketMQ 版消费数据当前处于邀测阶段，如需使用，请提交工单联系技术支持。

支持的 SQL 语句

操作类型	SQL 操作语句
DML	INSERT、UPDATE、DELETE
DDL	CREATE TABLE、ALTER TABLE、DROP TABLE、TRUNCATE TABLE、CREAT INDEX、DROP INDEX、CREATE SEQUENCE、ALTER SEQUENCE、DROP SEQUENCE、DROP RULE

操作步骤

在顶部菜单栏，选择项目和地域。

在左侧导航栏，单击数据订阅。

在数据订阅列表页面，单击创建订阅。

在配置源库页面，配置以下参数信息。

类别	参数					说明
基本信息	任务名称					（可选）自定义订阅任务名称。长度需在 256 个字符内。说明若未进行设置，系统将按照命名规则，默认生成一个以 dts- 开头命名的任务。
基本信息		链路规格					按需选择订阅任务的链路规格，当前仅支持 Standard 产品规格。说明关于链路规格的详细信息，请参见产品规格。
基本配置	实例类型					选择 PostgreSQL。
		接入方式					选择火山引擎 AIDAP 版 PostgreSQL。
		Workspace					输入 Wrokspace 的名称。
		Branch					输入目标分支的名称。
		数据库名称					输入目标数据库名称。
		数据库账号					输入数据库账号信息。
		数据库密码					输入数据库密码。
		测试连接					当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。
中间件配置	选择已有数据源					您可以按需选择是否使用已录入的实例：使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
		客户自有中间件	消息队列 RocketMQ 版	RocketMQ 实例	从下拉列表中选择目标实例。
						Topic	从下拉列表中选择目标 Topic 信息。
						AccessKey ID	输入密钥的 AccessKey ID。关于密钥的详细信息，请参见管理密钥。
						AccessKey Secret	输入密钥的 AccessKey Secret。
				测试连接			当测试连接失败时，根据失败提示信息修改相关配置后，再次测试是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确当您将消息订阅到消息队列 RocketMQ 版，出现该报错提示时，您需要确认 AccessKey ID 和 AccessKey Secret 的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。
Project 与计费	项目					（可选）从下拉列表中选择该任务所属项目，默认在 default(默认项目) 下。您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。说明关于如何授予子用户访问指定项目下资源的权限操作步骤，请参见修改项目权限。成功创建任务后，如果需要修改实例的所属项目，例如将任务从当前项目移入至其他项目，您可以将资源移入指定项目。详细操作，请参见资源移入项目。项目是一个虚拟的概念，包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理，并且控制项目内用户和角色对这些资源的权限。
		标签					（可选）单击添加标签，设置标签键和标签值，为实例添加标签。标签的键值对规则如下：键支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 1~128 个字符内。使用 UTF-8 编码的 Unicode 格式。不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。（可选）值支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 0~256 个字符内。使用 UTF-8 编码的 Unicode 格式。说明标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者或环境等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。关于标签的详细信息，请参见标签概述。支持模糊搜索选择已有标签键和标签值。标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。
		计费类型					按需选择计费方式，当前支持按量计费和包年包月两种计费方式。说明关于计费的详细信息，请参见计费说明。
		购买时长					按需选择包年包月的购买时长。说明在计费方式选择包年包月时，支持设置购买时长，同时您还可以勾选到期自动续费，系统会在任务到期前自动续费。

单击下一步:配置订阅对象。

在配置订阅对象页面，设置相关参数信息。

说明

若暂时不需要启动订阅任务，您可以在完成配置订阅对象后，单击页面右下角的保存，保存订阅任务，表示成功创建订阅任务后不启动此任务。

保存后该订阅任务的状态为待启动，当需要启动此任务时，在数据订阅列表页面，单击目标未启动订阅任务操作列下的配置订阅通道。具体操作，请参见步骤 5 及后续步骤。

参数			说明
基本信息	订阅格式	选择数据订阅格式。订阅格式目前仅支持 Canal JSON。关于订阅格式的详细信息，请参见数据订阅格式。
		RocketMQ 队列接收策略	按需选择目标 Topic 的队列接收策略。支持以下接收策略：按照库名和表名的联合 hash 值投递到不同队列按主键的 hash 值投递到不同队列按指定列的 hash 值投递到不同队列注意当接入方式选择消息队列 RocketMQ 版时，支持配置此参数。当订阅任务正式启动后，不支持以下操作：在 DTS 控制台修改 RocketMQ 队列的接收策略。在 RocketMQ 中修改队列的数量。
		订阅类型	当前仅支持勾选增量订阅。
		订阅对象	在订阅对象中选择待订阅的对象。选择目标订阅对象后，您可以在右侧已选择对象框中再次确认需要订阅的对象。同时，如果在订阅对象区域勾选了整库，则在已选择对象区域不支持展开该数据库。
高级配置	已选库表	支持重新单独对所选库表进行重新配置，具体配置如下：指定计算 hash 值的列：输入用于计算 hash 值的列名。之后，将按照此列的 hash 值，将数据投递到指定 Partition 或队列。支持为所有库表批量选择计算 hash 值的列。当投递策略选择按指定列的 hash 值投递到不同 Partition 时支持该配置。
		错误重试时间	源库或目标库断连后，若能在该时间内重新连上，订阅任务即可自动恢复。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。
		开启毫秒级延迟监控	按需设置是否开启毫秒级延迟监控。开启后，可实现高精度、全链路、主动式的端到端延迟度量，有效提升监控的稳定性和对网络中断、空闲断流等异常场景的感知能力。开启后，DTS 会向源库写入心跳，需要源端账号具备 SELECT、INSERT 和 UPDATE 权限。您也可以在源端手动创建心跳表以开启毫秒级延迟监控功能，操作步骤，请参见手动创建心跳表。说明在通过Kafka 或 RocketMQ 消费火山引擎 AIDAP 版 PostgreSQL 实例数据时，需要配置该参数。
		开启 ETL 配置	选择是否开启 ETL 功能。是：表示开启 ETL 功能。在开启 ETL 功能后，您可以参考 DSL 语法配置数据处理规则，在 Code goes here... 输入框内输入数据处理 ETL 规则即 DSL 脚本，单击校验语法，验证数据处理语句是否正确。您也可以单击调试配置测试您创建的 ETL 规则的效果，具体调试方式，请参见通过 ETL Playground 工具校验 ETL 规则。否：表示不开启 ETL 功能。说明当订阅数据投递到客户自有中间件，且接入方式为消息队列 RocketMQ 版时，支持该配置。 ETL 配置当前仅支持设置 Tag，请按需设置。当您在 Code goes here... 输入框内输入 SQL 语句后，需单击校验语法，验证数据处理语句是否正确。
		自动跳过无权限表	按需选择是否自动跳过无权限表。当遇到无权限表时，系统将自动跳过，不会中断任务，但可能会因数据丢失导致业务异常，建议同时配置事件告警规则。详细操作，请参见配置创建事件规则。
		自动跳过超长消息	按需选择是否自动跳过超长消息。当消息超出限制时，系统会自动跳过，不会中断任务，但可能会因数据丢失导致业务异常，建议同时配置事件告警规则。详细操作，请参见配置创建事件规则。说明在消息队列 RocketMQ 订阅火山引擎 AIDAP 版 PostgreSQL 数据库时支持配置该参数。

单击预检查。

在预检查页面右下角，单击确认订单。

根据创建任务的计费类型，选择配置方式：

按量付费

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

包年包月

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

在确认订单信息配置向导页面，确认实例的计费信息。

（可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。

（可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。

单击下一步。

说明

在支付完成配置向导页面，显示支付成功则任务创建成功。

成功创建数据订阅任务后，您可以在数据库传输服务 DTS 控制台的订阅任务列表查看到数据订阅任务。

后续操作

新建消费组

消费订阅数据

通过 Kafka 消费火山引擎 Proto 格式的订阅数据

通过 Kafka 消费 Canal Proto 格式的订阅数据

通过 RocketMQ 消费火山引擎 Proto 格式的订阅数据

通过 RocketMQ 消费 Canal Proto 格式的订阅数据

API	描述
CreateTransmissionTask	调用 CreateTransmissionTask 接口创建数据库传输服务任务。
ModifyTransmissionTask	调用 ModifyTransmissionTask 接口修改传输任务。