文档中心

数据库传输服务

创建 Milvus 数据同步任务

公网自建 Milvus 同步至火山引擎版 Milvus

本场景介绍如何在数据库传输服务 DTS 控制台创建自建 Milvus 同步至火山引擎版 Milvus 任务。

前提条件

已创建向量数据库 Milvus 版数据库实例。详细操作，请参见创建实例。

已确认源端和目标端的网络连通性与服务可用性。

当数据库实例的接入方式选择的是公有网络时，且数据库实例开启了访问限制，那么在创建数据库传输任务前，您需要将 DTS 服务器 IP 地址添加至数据库实例的白名单或安全组中。不同地域下的 DTS 服务器 IP 地址不同，具体如下所示：

华南 1（广州）、华东 2（上海）和华北 2（北京）的 DTS 服务器 IP 地址是 221.194.189.0/27,157.148.90.32/27,180.184.132.64/27,61.129.54.64/27,220.196.172.32/27,117.135.143.32/27,220.196.168.32/27,116.132.250.32/27,111.45.13.32/27,125.88.248.32/27,180.153.35.32/27,220.181.65.32/27,220.181.65.64/27。

亚太东南（柔佛）的 DTS 服务器 IP 地址是 101.47.0.32/27,220.181.65.32/27,220.181.65.64/27,101.47.65.192/27,101.47.65.32/27。

关于 DTS 服务器 IP 地址段的详细信息，请参见添加 DTS 服务器的 IP 地址段。

注意事项

目前该功能仅对华南 1（广州）、华东 2（上海）、华北 2（北京）和亚太东南（柔佛）地域开放。

Milvus 数据库支持 Insert 和 Upsert 两种写入方式，更多信息，请参见 Milvus 主字段和自动识别。在同步数据时，Insert 和 Upsert 两种写入方式的区别和适用场景如下。

Insert：使用 Insert 命令直接插入数据，适用于 Collection 开启 AutoID 且源端与目标端数据（含主键）一致的场景。当 DTS 重启或重复拉取数据时，可能会造成目标端数据冗余。

Upsert：使用 Upsert 命令直接插入数据或更新现有数据。适用于更新现有数据，Collection 未开启 AutoID，或 Collection 开启 AutoID 但业务或校验不依赖主键的场景。当 DTS 重启或重复拉取数据时，可能会导致主键不一致，影响依赖主键的业务或校验。

同步过程中，请勿变更实例的配置，否则同步任务不成功。

暂不支持同步开启 SSL 的实例。

支持将 Zilliz Cloud（Milvus）的数据同步至火山引擎的向量数据库 Milvus 中，如需使用您可以提交工单联系技术支持。关于向量数据库 Milvus 的详细信息，请参见什么是向量数据库 Milvus 版。

使用限制

类型	说明
源库限制	数据库版本：当前支持 2.5、2.6 的 Milvus 引擎版本。带宽要求，源库所属的服务器需具备足够出口带宽，否则将影响数据同步的速率。
目标库限制	Milvus 引擎版本为 2.5、2.6。
其他限制	当前暂不支持 Role/User 权限同步。建议源库和目标库的 Milvus 版本保持一致，或者从低版本同步至高版本以保障兼容性。如果是高版本同步至低版本，可能存在数据库兼容性或数据丢失问题。执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。否则全量数据同步时 DTS 占用源和目标库一定的读写资源，可能会导致数据库的负载上升。在同步过程中，目标数据库可能会产生大量日志或数据文件，导致目标库的磁盘使用量显著增加。建议您在同步前，检查并配置目标数据库的日志保留策略或数据清理机制，避免占用过多存储空间。

支持的同步架构

一对一单向同步

一对多单向同步

多对一单向同步

级联单向同步

关于数据库传输服务 DTS 支持的同步拓扑类型和使用说明，请参见数据同步拓扑。

数据库账号最小权限策略

数据库	权限
源库	Root 权限或授予 ClusterAdmin、DatabaseAdmin 和 CollectionAdmin 的 User 权限。
目标库	Root 权限或授予 ClusterAdmin、DatabaseAdmin 和 CollectionAdmin 的 User 权限。

操作步骤

在顶部菜单栏，选择项目和地域。

在左侧导航栏，单击数据同步。

在同步任务列表页面，单击创建任务。

在创建同步任务页面的配置源库及目标库配置向导页面，配置以下参数信息。

类别	参数	说明
基本信息	任务名称	（可选）自定义同步任务名称。长度需在 256 个字符内。说明若未进行设置，系统将按照命名规则，默认生成一个以 dts- 开头命名的任务。
		链路规格	按需选择同步任务的链路规格，当前支持 Compact、Medium 和 Standard。说明成功创建任务后，不支持修改任务的链路规格。关于链路规格的详细信息，请参见产品规格。
		同步拓扑	根据业务需要选择同步拓扑，当前 Milvus 数据库仅支持单向同步。说明关于同步拓扑的更多信息，请参见数据同步拓扑。
源库配置	选择已有数据源	当前暂不支持选择 Milvus 数据源，您需要配置以下数据库实例信息。
		实例类型	选择 Milvus。
		接入方式	选择EndpointPublicMilvus，即公有网络 Milvus。在同步公有网络 Milvus 实例时，您需要提前在源端的白名单或安全组策略中，添加 DTS IP 段的访问权限。单击查看 DTS IP 段查看和复制 IP 段。
		地域	根据实际情况选择目标实例所属地域。
		地址	输入目标自建实例的主机地址。说明当您需要同步的是 Zilliz Cloud 的数据，那么输入的地址格式需为 https://host:19530 形式的 TLS endpoint
		数据库账号	默认账号为 root。说明当您需要同步的是 Zilliz Cloud 的数据，那么需确保源端账号能稳定读取 Collection 列表、Schema 和 Index 等元数据，建议在正式执行前进行抽样验证。
		数据库密码	输入数据库账号对应的密码。
		测试连接	单击测试连接，验证是否成功连接实例。当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术支持。
目标库配置	选择已有数据源	当前暂不支持选择 Milvus 数据源，您需要配置以下数据库实例信息。
		实例类型	选择 Milvus。
		接入方式	选择 EndpointVolcMilvus，即火山引擎版 Milvus。
		地域	根据实际情况选择目标实例所属地域。
		Milvus 实例	在下拉列表中选择向量数据库 Milvus 的目标实例。说明您也可以通过实例 ID 或名称搜索目标实例。
		数据库账号	默认账号为 root。
		数据库密码	输入数据库账号对应的密码。
		测试连接	单击测试连接，验证是否成功连接实例。当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术支持。
Project 与计费	项目	（可选）从下拉列表中选择该任务所属项目，默认在 default(默认项目) 下。您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。说明关于如何授予子用户访问指定项目下资源的权限操作步骤，请参见修改项目权限。成功创建任务后，如果需要修改实例的所属项目，例如将任务从当前项目移入至其他项目，您可以将资源移入指定项目。项目是一个虚拟的概念，包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理，并且控制项目内用户和角色对这些资源的权限。
		标签	（可选）单击添加标签，为实例添加标签，标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。关于标签的详细信息，请参见标签概述。标签的键值对规则如下：键支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 1~128 个字符内。使用 UTF-8 编码的 Unicode 格式。不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。（可选）值支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 0~256 个字符内。使用 UTF-8 编码的 Unicode 格式。说明支持模糊搜索选择已有标签键和标签值。单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。
		计费方式	按需选择计费方式，当前支持按量计费和包年包月两种计费方式。说明关于计费的详细信息，请参见计费说明。
		购买时长	按需选择包年包月的购买时长。说明在计费方式选择包年包月时，支持设置购买时长，同时您还可以勾选到期自动续费，系统会在任务到期前自动续费。

单击下一步:配置同步对象。

在配置同步对象配置向导页面，配置相关参数信息，如下表所示。

说明

同步任务默认进行全量初始化。

若暂时不需要启动同步任务，您可以在完成同步对象配置后，单击页面右下角的保存。

保存后会跳转回同步任务列表页，此时任务状态为待启动，您可以在合适的时候再配置同步任务。配置方法，请参见配置同步任务。

参数			说明
同步类型			按需选择同步类型，当前仅支持全量初始化。
写入方式			按需选择数据写入方式，两种写入方式的区别和适用场景如下。 Insert：使用 Insert 写入数据时，Milvus 不检查目标端主键的唯一性，直接写入数据。Insert 写入方式适用于 Collection 开启 AutoID 且源端与目标端数据（含主键）一致的场景。当 DTS 重启或重复拉取数据时，可能会造成目标端数据冗余。 Upsert：使用 Upsert 写入数据时，Milvus 检查目标端是否已存在该主键，当不存在该主键时，直接写入；如果存在该主键，将删除原数据，然后写入新的数据。当 Collection 开启 AutoID 时，Milvus 忽略原数据的主键信息，并为其生成新的主键。Upsert 写入方式适用于更新现有数据，且 Collection 未开启 AutoID，或 Collection 开启 AutoID 但业务或校验不依赖主键的场景。当 DTS 重启或重复拉取数据时，可能会导致主键不一致，影响依赖主键的业务或校验。说明 Milvus 是否开启 AutoID，与写入方式的选择，对业务造成的影响区别较大，更多信息，请参见 Milvus 主字段和自动识别。
同步对象			在同步对象区域勾选需要同步的对象，在已选择对象区域确认需要同步的对象。说明在同步对象或已选择对象区域支持通过正则表达式搜索目标对象。
高级配置	错误重试时间	在同步任务中，当源库和目标库断连后导致同步任务失败时，会立即在指定时间内多次重试连接源库和目标库。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。

单击预检查。

（可选）当创建的任务已有预检查时，您可以根据以下提示确认是否重新发起预检查，当需要重新发起预检查时，请在是否重新发起预检查对话框，单击确定。

若源端和目标端的数据库实例未做修改，则无需再次发起预检查。

如果修改了源端、目标端的数据库实例信息或同步任务的参数配置，那么建议您重新发起预检查，否则可能会导致任务启动失败或者任务中断。

在预检查配置向导页面，根据检查结果执行以下操作：

单击预检查结果操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

单击操作列的忽略，忽略本次告警继续启动同步任务。同时，也可以单击忽略全部，一键忽略全部告警信息。

说明

选择忽略告警并启动同步任务，可能导致数据不一致，带来业务风险。

关于预检查的具体说明，请参见预检查项。

在预检查页面右下角，单击确认订单。

根据创建任务的计费类型，选择配置方式：

按量付费

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

包年包月

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

在确认订单信息配置向导页面，确认实例的计费信息。

（可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。

（可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。

单击下一步。

说明

在支付完成配置向导页面，显示支付成功则任务创建成功。

成功创建数据同步任务后，您可以返回 DTS 控制台，在数据同步任务列表查看数据同步任务的信息。

API	描述
CreateTransmissionTask	调用 CreateTransmissionTask 接口创建数据库传输服务任务。
ModifyTransmissionTask	调用 ModifyTransmissionTask 接口修改传输任务。