文档中心

数据库传输服务

创建 MongoDB 数据订阅任务

创建专有网络 MongoDB 数据订阅任务

本文介绍如何在数据库传输服务 DTS 控制台创建火山引擎专有网络 MongoDB 数据订阅任务。

前提条件

按需设置目标端信息，具体如下所示：

在使用 VPN 实现数据迁移时，自建数据库所属的本地网络已通过 VPN 网关接入火山引擎。详细操作，请参见搭建云上VPC与云下多数据中心网络互通。

在需要使用专线实现数据迁移时，您需要搭建云上单私有网络和云下单数据中心网络连通的专线连接。详细操作，请参见配置专线连接。

当通过消息队列 RocketMQ 版消费数据时，需提前创建 RocketMQ 实例和密钥。详细信息，请参见创建 RocketMQ 实例和创建密钥。

在通过云原生消息引擎消费数据时，需提前准备以下环境：

创建云原生消息引擎实例和 Topic。详细操作，请参见创建资源池和创建 Topic。

联系云原生消息引擎技术支持或提交工单申请开启公共服务区连接地址，使数据库传输服务 DTS 可以访问云原生消息引擎目标实例。

订阅前准备

网络连通性：创建数据订阅任务之前，请确认源端和消费端的网络连通性与服务可用性。

您还可以根据预检查项中的说明，来检查源端和目标端中各订阅对象做相应准备。更多详情，请参见预检查项（MongoDB）和预检查项（RocketMQ）。

限制条件

限制类	说明
源端	数据库版本：当前支持 3.4、3.6、4.0、4.2、4.4、5.0、6.0、7.0 和 8.0 版本的 MongoDB 实例。暂不支持只读节点的数据订阅。
消费端	在消息订阅到 RocketMQ 时，具有以下限制条件：成功创建订阅任务后，不支持修改 RocketMQ 队列的接收策略。如果消费端为消息队列 RocketMQ 版时，创建订阅任务后，请勿修改分区队列的数量。 RocketMQ 不支持事务消息和延迟消息两种消息类型。在消息订阅到云原生消息引擎 BMQ 时，具有以下限制条件：成功创建订阅任务后，不支持修改云原生消息引擎 Partition 的接收策略。如果消费端为云原生消息引擎时，创建订阅任务后，请勿修改分区 Partition 的数量。在通过客户自由中间件进行消费数据时，您需要自行保证对应中间件的可用性。
其他	当前仅支持订阅全量数据和增量数据。在数据订阅过程中，请勿修改消息引擎 RocketMQ 版实例的参数配置，否则任务将订阅失败。将消息订阅到消息队列 RocketMQ 版和云原生消息引擎消费数据当前处于邀测阶段，如需使用，请提交工单联系技术支持。

支持的 SQL 操作

增量订阅支持的 SQL 操作如下表所示。

操作类型	SQL 操作语句
DML	INSERT、UPDATE、DELETE、REPLACE

操作步骤

在顶部菜单栏，选择项目和地域。

在左侧导航栏，单击数据订阅。

在数据订阅列表页面，单击创建订阅。

在配置源库页面，配置以下参数信息。

类型	参数					说明
基本信息	任务名称					（可选）自定义迁移任务名称。长度需在 256 个字符内。说明若未进行设置，系统将按照命名规则，默认生成一个以 dts- 开头命名的任务。
基本信息		链路规格					按需选择订阅任务的链路规格，当前仅支持 Standard。说明关于链路规格的详细信息，请参见产品规格。
基本配置	选择已有数据源					您可以按需选择是否使用已录入的实例：使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
		实例类型					选择 MongoDB。
		接入方式					选择专有网络 MongoDB。
		地域					选择私有网络所属地域。
		架构					按需选择目标 MongoDB 实例的架构类型，当前支持选择副本集、分片集群和单节点。
		增量数据获取方式					在架构选择分片集群时支持设置增量数据获取方式。按需选择增量数据的获取方式，支持以下选择： ChangeStream：该获取方式提供从数据集（数据库、集合或管道）中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式，那么实例的版本需大于等于 3.6。 Oplog：该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集，选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。 None：选择 None 后无法选择增量迁移，只能选择全量迁移。
		在增量数据获取方式设置为 ChangeStream 或 None 时，需配置参数地址、账号校验数据库、私有网络、子网、数据库账号和数据库密码。
		地址					输入目标自建实例的主机地址和端口，格式为 IP:Port。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。
		账号校验数据库					输入账号所属数据库的库名。
		私有网络					从下拉列表中选择目标私有网络，具体如下所示：专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。 VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。
		子网					从下拉列表中选择和私有网络连通的子网。说明在迁移专有网络 MongoDB 实例时，您需要提前在源端的白名单或安全组策略中，添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。
		数据库账号					输入目标实例的数据库账号。
		数据库密码					输入目标实例数据库账号对应的密码。
		在增量数据获取方式设置为 Oplog 时，需配置私有网络、子网、Mongos 信息和分片信息参数。
		私有网络					从下拉列表中选择目标私有网络，具体如下所示：专线连接：通过专线 CEN 实现数据连通时，选择 CEN 下所属的任意私有网络。 VPN 连接：通过 VPN 实现数据连通时，选择 VPN 网关绑定的私有网络。
		子网					从下拉列表中选择和私有网络连通的子网。说明在迁移专有网络 MongoDB 实例时，您需要提前在源端的白名单或安全组策略中，添加子网 IP 段的访问权限。单击查看子网 IP 段查看和复制 IP 段。
		Mongos 信息					单击编辑 mongos 信息。在编辑 mongos 信息控制面板。配置以下参数信息：地址：需输入 mongos 的地址，例如 IP:端口或域名:端口。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。账号校验数据库：输入账号所属数据库的库名。数据库账号：输入目标实例的数据库账号。数据库密码：输入目标实例数据库账号对应的密码。单击确定。
		分片信息					单击编辑分片信息。在编辑分片信息控制面板，配置分片的地址、账号校验数据库、账号、密码。地址：需输入分片的地址，例如 IP:端口或域名:端口。在存在多个地址时，需使用英文逗号（,）隔开，最多支持配置 5 个地址。账号校验数据库：输入账号所属数据库的库名。账号：输入目标分片账号信息。密码：输入目标分片账号对应的密码。（可选）单击添加一行，最多可添加 32 个分片信息，设置更多分片信息。单击确定。
		测试链接					单击测试链接，验证是否成功连接实例。当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查网络是否正常：当出现该报错提示时，请确认网络的连通性。连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。无效的 IP 地址：当出现该报错提示时，请确认 IP 地址的正确性。专有网络需要子网有 * 个可用 IP，当前私有网络内子网可用 IP 数不足，无法创建任务，请检查私有网络内子网资源：当出现该报错提示时，您需要调整私有网络子网内可用的 IP 数量，以保证目标私有网络内子网内有足够的 IP。
中间件配置	选择已有数据源					您可以按需选择是否使用已录入的实例：使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
		客户自有中间件	消息队列 RocketMQ 版	RocketMQ 实例	从下拉列表中选择目标实例。
						Topic	从下拉列表中选择目标 Topic 信息。
						AccessKey ID	输入密钥的 AccessKey ID。关于密钥的详细信息，请参见管理密钥。
						AccessKey Secret	输入密钥的 AccessKey Secret。
				云原生消息引擎	ByteDanceMQ 实例	从下拉列表中选择目标 ByteDanceMQ 实例。
						Topic	从下拉列表中选择目标 Topic 信息。
						ByteDanceMQ 用户	输入云原生消息引擎 ByteDanceMQ 用户名。
						密码	输入云原生消息引擎 ByteDanceMQ 用户密码。
				测试连接			当测试连接失败时，根据失败提示信息修改相关配置后，再次测试是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确当您将消息订阅到火山引擎 ECS 自建 Kafka 或消息队列 Kafka 版，出现该报错提示时，您需要确认用户名和密码的准确性。当您将消息订阅到消息队列 RocketMQ 版，出现该报错提示时，您需要确认 AccessKey ID 和 AccessKey Secret 的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术人员。无效的 IP 地址：当出现该报错提示时，请确认 IP 地址的正确性。
Project 与计费	项目					（可选）从下拉列表中选择该任务所属项目，默认在 default(默认项目) 下。您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。说明成功创建任务后，如果需要修改实例的所属项目，例如将任务从当前项目移入至其他项目，您可以将资源移入指定项目。项目是一个虚拟的概念，包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理，并且控制项目内用户和角色对这些资源的权限。
		标签					（可选）单击添加标签，设置标签键和标签值，为实例添加标签。标签的键值对规则如下：键支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 1~128 个字符内。使用 UTF-8 编码的 Unicode 格式。不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。（可选）值支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 0~256 个字符内。使用 UTF-8 编码的 Unicode 格式。说明标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者或环境等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。
		计费类型					按需选择计费方式，当前支持按量计费和包年包月两种计费方式。说明关于计费的详细信息，请参见计费说明。
		购买时长					按需选择包年包月的购买时长。说明在计费方式选择包年包月时，支持设置购买时长。

单击下一步:配置订阅对象。

在配置订阅对象页面，配置以下参数信息。

参数			说明
基本信息	订阅格式	当前仅支持以 Bson 格式订阅数据。
		RocketMQ 队列接收策略	当前仅支持选择按主键的 hash 值投递到不同队列。
		BMQ Partition 接受策略	当前仅支持选择按主键合 hash 值投递到不同 Partition。
		订阅类型	按需选择订阅类型，当前支持增量订阅和全量订阅。说明不支持同时勾选增量订阅和全量订阅。
		订阅起始点	设置从某个指定位点或时间点拉取 Binlog 日志，取值如下：系统默认：默认为任务启动时间点。指定时间戳：单击输入框，选择日期，单击选择时间设置时间点，然后单击确定。说明当订阅类型勾选了增量订阅时，支持此配置。当选择指定时间戳时，您设置的时间必须要晚于源端 Binlog 的最早时间。当没有对应时间 Binlog 时，则选取最接近 Binlog 的起点。
		订阅对象	在订阅对象中选择待订阅的对象。选择目标订阅对象后，您可以在右侧已选择对象框中再次确认需要订阅的对象。同时，如果在订阅对象区域勾选了整库，则在已选择对象区域不支持展开该数据库。
高级配置	错误重试时间	源端或目标端断连后，若能在该时间内重新连上，订阅任务即可自动恢复。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。

单击预检查。

当预检查结果存在告警或失败时，您可以根据结果提示执行以下操作：

单击操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

单击操作列的忽略，忽略本次告警继续启动订阅任务。同时也支持单击全部忽略，忽略全部告警信息。

说明

当预检查结果失败时，请勿忽略本次告警。

选择忽略告警并启动订阅任务后，可能会存在某些隐患，具体信息，请参见界面提示。

关于预检查的具体说明，请参见预检查项（MySQL）和预检查项（RocketMQ）。

在预检查页面右下角，单击确认订单。

根据创建任务的计费类型，选择配置方式：

按量付费

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

包年包月

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

在确认订单信息配置向导页面，确认实例的计费信息。

（可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。

（可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。

单击下一步。

在支付完成配置向导页面，显示支付成功则任务创建成功。

成功创建数据订阅任务后，您可以在数据库传输服务 DTS 控制台的订阅任务列表查看到数据订阅任务。

API	描述
CreateTransmissionTask	调用 CreateTransmissionTask 接口创建数据库传输服务任务。
ModifyTransmissionTask	调用 ModifyTransmissionTask 接口修改传输任务。