文档中心

数据库传输服务

源为火山引擎版 Redis

同步至火山引擎版 Redis

本场景介绍如何在数据库传输服务 DTS 控制台创建火山引擎版 Redis 同步至火山引擎版 Redis 任务。

前提条件

已创建缓存数据库 Redis 版数据库和设置默认账号 default 的密码。详细操作，请参见创建实例和设置默认账号密码。

已确认源端和目标端的网络连通性与服务可用性。

（可选）根据预检查项中的说明，检查源端和目标端中各同步对象。更多详情，请参见预检查项（Redis）。

注意事项

正向同步任务可以只选择增量同步，届时不会将源端的历史全量数据初始化到目的端。反向同步暂时不支持选择全量初始化。

由于缓存数据库 Redis 版的单节点实例未开启 AOF 持久化，因此无法使用数据库传输服务 DTS 同步此类型实例。

同步过程中，请勿变更实例的配置，否则同步任务不成功。

在数据同步的过程中，若遇到目标库中已存在同键值情况，DTS 不会保留目标端中冲突的数据，即源端的数据将会覆盖掉目标端的数据。

在全量和增量同步 Stream 的任务中，请勿在目标数据库实例中进行双写操作，否则可能会导致任务同步失败。

暂不支持同步开启 SSL 的实例。

当您想通过专线实现数据同步时，您可以提交工单联系技术支持。

暂不支持创建缓存数据库 Redis 企业版实例的数据同步任务。缓存数据库 Redis 企业版当前处于邀测阶段，如需使用，请提交工单申请服务。关于缓存数据库 Redis 企业版的详细信息，请参见什么是缓存数据库 Redis 企业版。

使用限制

类型	说明
源库限制	数据库版本：当前支持 4.0、5.0、6.0 和 7.0 的 Redis 实例。带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步的速率。当源库中的某些 Key 使用了过期（expire）的策略，可能存在 Key 已过期但未被及时删除的情况，导致目标数据库中查看的 Key 数量比源库的 Key 数量少。数据库传输服务 DTS 在执行全量初始化时，将占用源库和目标库的部分资源，可能会导致数据库服务器负载上升。当数据库业务量较大或服务器规格较低时，可能会加重数据库的压力，甚至导致数据库服务不可用。建议在业务低峰期执行数据同步，您也可以调大源库的client-output-buffer-limit 的参数值。在同步期间，当源库发生扩缩容例如增加或减少分片、规格变配例如扩大内存时，您需重新配置任务。为保障数据一致性，在重新配置任务前，建议先清空已同步至目标 Redis 实例内的数据。在同步期间，当源库的连接地址发生变化，导致同步任务失败时，您需要重新配置任务。当不成功时，您可提交工单联系技术人员，如果长时间未处理，源库会重置 AOF 文件。
目标库限制	数据库版本：当前支持 4.0、5.0、6.0 和 7.0 的 Redis 实例。如果目标库的数据逐出策略参数 maxmemory-policy 配置为 noeviction 以外的值，可能导致目标库的数据和源库不一致。
其他限制	在双向同步过程中仅支持两个 Redis 实例间的同步，不支持多个 Redis 成环的同步，同时也不支持级联。在增量数据同步时，由于目标库在执行脚本时不会明确返回执行结果，对于通过 EVAL 或 EVALSHA 调用的 Lua 脚本，DTS 无法确认该类型脚本是否执行成功。双向同步无法解决 CRDT 问题，您需要保证源库和目标库中没有对同一 Key 的操作。在源端或目标端的实例发生连接闪断时，可能会使全量数据重新同步至目标端，导致数据不一致。执行数据同步前，需评估源库或目标库的性能，同时建议您在业务低峰期执行数据同步。否则在全量初始化时 DTS 占用源库或目标库一定的读写资源，可能导致数据库的负载上升。源库写入量较大的情况下可能会导致同步失败。建议源库和目标库的 Redis 的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如果是高版本同步到低版本，可能存在数据库兼容性或数据丢失问题。目标 Redis 数据库的存储空间需大于源 Redis 数据库占用的存储空间。数据库传输服务 DTS 在调用 psync 和 sync 命令传输数据时，会对目标库数据进行覆盖写入，即如果目标库存在相同的 key，会先进行 del 操作。

支持的同步架构

一对一单向同步

一对多单向同步

多对一单向同步

级联单向同步

一对一双向同步

关于数据库传输服务 DTS 支持的同步拓扑类型和使用说明，请参见数据同步拓扑。

支持的命令

APPEND

BITOP、BLPOP、BRPOP、BRPOPLPUSH

DECR、DECRBY、DEL

EVAL、EVALSHA、EXPIRE、EXPIREAT

GEOADD、GETSET

HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX

INCR、INCRBY、INCRBYFLOAT

LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM

MOVE、MSET、MSETNX

PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX

RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX

SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE

ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE

说明

Redis 7.0 暂不支持 Function 相关命令。

数据库账号最小权限策略

数据库	权限
源库	可以执行 sync、psync 和 config get 命令。
目标库	可以执行写命令。

操作步骤

在顶部菜单栏，选择项目和地域。

在左侧导航栏，单击数据同步。

在同步任务列表页面，单击创建任务。

在创建同步任务页面的配置源库及目标库配置向导页面，配置以下参数信息。

类别	参数	说明
基本信息	任务名称	（可选）自定义同步任务名称。长度需在 256 个字符内。说明若未进行设置，系统将按照命名规则，默认生成一个以 dts- 开头命名的任务。
		链路规格	按需选择同步任务的链路规格，当前支持 Compact、Medium 和 Standard。说明成功创建任务后，不支持修改任务的链路规格。关于链路规格的详细信息，请参见产品规格。
		同步拓扑	根据业务需要选择同步拓扑，当前支持单向同步和双向同步。说明关于同步拓扑的更多信息，请参见数据同步拓扑。
源库配置	选择已有数据源	您可以按需选择是否使用已录入的实例：使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
		实例类型	选择 Redis。
		接入方式	选择火山引擎版 Redis。
		地域	根据实际情况选择目标实例所属地域。
		是否跨火山引擎账号	按需选择是否跨账号传输数据，取值如下：本账号：选择本账号时，表示仅在本账号内实现数据传输。跨账号：选择跨账号时，表示将实现两个账号间的数据传输。说明在进行跨账号传输数据时，您需要通过目标端所在的账号登录数据库传输服务 DTS 控制台。跨账号进行数据传输前，您需要在源端的主账号内创建 IAM 角色并授权。详细操作，请参见如何授权用户实现跨账号传输数据。
		跨账号 ID	输入源库所属的火山引擎账号 ID。
		跨账号角色	输入已授权 DTS 访问跨账号资源的 IAM 角色。
		Redis 实例	在下拉列表中选择缓存数据库 Redis 的目标实例。说明您也可以通过实例 ID 或名称搜索目标实例。
		数据库账号	默认账号为 default，您可以根据实际情况设置数据库账号。
		数据库密码	输入源实例数据库账号对应的密码。说明在缓存数据库 Redis 版的实例开启免密访问时，无需输入密码即可成功访问目标实例。关于开启免密访问的详细操作，请参见免密访问。
		测试连接	单击测试连接，验证是否成功连接实例。当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术支持。
目标库配置	选择已有数据源	您可以按需选择是否使用已录入的实例：使用已录入实例：单击选择已有数据源，在选择数据源控制面板，从地域下拉列表中选择目标地域，然后选择目标数据源。支持通过数据源名称和 ID 选择数据源。关于数据源的创建方法，请参见数据源管理。不使用已录入实例：如果不使用已录入的实例，那么您需要配置以下数据库实例信息。
		实例类型	选择 Redis。
		接入方式	选择火山引擎版 Redis。
		地域	根据实际情况选择目标实例所属地域。
		Redis 实例	在下拉列表中选择缓存数据库 Redis 的目标实例。说明您也可以通过实例 ID 或名称搜索目标实例。
		数据库账号	默认账号为 default，您可以根据实际情况设置数据库账号。
		数据库密码	输入源实例数据库账号对应的密码。说明在缓存数据库 Redis 版的实例开启免密访问时，无需输入密码即可成功访问目标实例。关于开启免密访问的详细操作，请参见免密访问。
		测试连接	单击测试连接，验证是否成功连接实例。当测试连接失败时，根据失败提示信息修改相关配置后，再次单击测试连接，验证是否可以成功连接实例。具体提示信息如下：连接认证失败，请检查用户名和密码是否正确：当出现该报错提示时，您需要确认用户名和密码的准确性。连接认证失败，无法正常创建连接，请联系客服：当出现该报错提示时，请提交工单联系技术支持。
无	项目	（可选）从下拉列表中选择该任务所属项目，默认在 default(默认项目) 下。您也可以单击创建新项目，创建新的项目。详细操作，请参见新建项目。说明关于如何授予子用户访问指定项目下资源的权限操作步骤，请参见修改项目权限。成功创建任务后，如果需要修改实例的所属项目，例如将任务从当前项目移入至其他项目，您可以将资源移入指定项目。项目是一个虚拟的概念，包括一组资源、用户和角色。通过项目可以对一组资源进行统一的查看和管理，并且控制项目内用户和角色对这些资源的权限。
		标签	（可选）单击添加标签，为实例添加标签，标签可帮您实现云资源的分类、云资源的访问控制、账单与成本分摊等。标签由一个键值对（Key-Value）组成，用于标识云资源，可以帮助您从不同维度（例如用途、所有者等）对具有相同特征的云资源进行分类，便于筛选和聚合，从而轻松管理云上资源。关于标签的详细信息，请参见标签概述。标签的键值对规则如下：键支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 1~128 个字符内。使用 UTF-8 编码的 Unicode 格式。不支持设置以 volc: 开头的任何形式的 Key，例如 Volc:、VOLC: 等。（可选）值支持任何语言、文字、数字、空格或符号（_.:/=+-@）。大小写敏感，且长度在 0~256 个字符内。使用 UTF-8 编码的 Unicode 格式。说明支持模糊搜索选择已有标签键和标签值。单次最多可给任务绑定 20 个标签。单个任务最多可绑定 50 个标签。同一个资源拥有的标签 Key 不可重复，且一个标签 Key 只有一个值 Value。
		计费方式	按需选择计费方式，当前支持按量计费和包年包月两种计费方式。说明关于计费的详细信息，请参见计费说明。
		购买时长	按需选择包年包月的购买时长。说明在计费方式选择包年包月时，支持设置购买时长，同时您还可以勾选到期自动续费，系统会在任务到期前自动续费。

单击下一步:配置同步对象。

在配置同步对象配置向导页面，配置相关参数信息，如下表所示。

说明

若暂时不需要启动同步任务，您可以在完成同步对象配置后，单击页面右下角的保存。

保存后会跳转回同步任务列表页，此时任务状态为待启动，您可以在合适的时候再配置同步任务。配置方法，请参见配置同步任务。

参数		说明
同步类型			按需选择同步类型，当前支持全量初始化和增量同步。说明默认勾选增量同步。正向同步任务可以只选择增量同步，届时不会将源端的历史全量数据初始化到目的端。反向同步暂时不支持选择全量初始化。在勾选全量初始化时，预检查完成后，数据库传输服务 DTS 会将源实例中待同步对象的数据在目标实例中初始化，作为后续增量同步数据的基础。
同步对象			在同步对象区域勾选需要同步的对象，在已选择对象区域确认需要同步的对象。
高级配置	错误重试时间	在同步任务中，当源库和目标库断连后导致同步任务失败时，会立即在指定时间内多次重试连接源库和目标库。取值范围：600~86400，单位：秒(s)。默认值为 600 秒。
		开启 Key 过滤	在数据同步任务中，如果只需要同步符合条件的数据到目标数据库，通过 Key 过滤功能实现该目的。选择是否开启 Key 过滤功能。是：表示开启 Key 过滤功能。开启 Key 过滤后，需配置过滤规则。白名单：过滤规则选择白名单后，需输入正则表达式。表示通过该正则表达式匹配到的 Key 将被同步到目标端。黑名单：滤规则选择黑名单后，需输入正则表达式。表示通过该正则表达式匹配到的 Key 将被过滤，即不会同步到目标端。在开启 Key 过滤功能后，为了保证同步数据的准确性，单击在线测试，在 VolcDTSRedisKeyFilter 页面中，在线测试您输入的正则表达式是否完全满足您的过滤需求。根据测试结果，可以确认正则表达式是否语法正确，以及是否能够满足过滤需求，以降低数据同步中的数据丢失或同步错误风险。否：表示不开启 Key 过滤功能。
		使用 KSN 进行增量	按需选择是否开启 KSN 进行增量，开启后 DTS 将使用 Redis 的键空间通知机制进行捕获增量数据变更，用于捕获 Redis 原生复制协议无法传递的事件。说明由于 KSN 机制依赖 Redis 服务端的实时消息推送，对性能非常敏感，开启该功能前您需关注以下风险：性能损耗大：KSN 会增加源库 CPU 和网络开销，可能对线上业务造成较大的压力。大 Key 场景禁忌：如果业务中存在大 Key 的频繁操作，极易导致 KSN 消息堆积或超时，进而导致同步任务失败。数据一致性风险：KSN 无法百分之百保证消息的可靠投递，在网络抖动或源库负载过高时可能会存在消息丢失的风险，从而导致主备数据不一致。 SLA 不保障：由于上述不稳定性，开启该功能后的同步链路不在标准 SLA 保障范围内。

单击数据校验配置。

在创建同步任务页面的配置数据校验配置向导页面，配置以下参数信息。

参数	说明
数据校验	选择是否在创建同步任务时直接配置（内置）数据校验功能。开启：在创建数据同步任务中直接配置数据校验任务。关闭：（默认）不在创建数据同步任务中配置数据校验任务。
校验类型	DTS 根据数据库类型和同步类型，自动生成校验类型，且不支持修改。关于校验类型的更多信息，请参见背景信息。
校验对象	选择需要校验的对象，您可以在已选择对象区域中实现以下操作：与同步任务保持一致：需要校验的对象与待同步的对象一致，即校验所有的同步对象。自定义：按需选择需要校验的对象。
启动设置	配置在同步任务中进行数据校验的时机。自动启动：数据校验任务随同步任务的进度，自动启动数据校验。当全量同步（如有）完成，并且增量同步的延迟时间为 0 时，自动启动数据校验任务。手动启动：数据校验任务不会随同步任务的进度，自动启动数据校验；需要您在合适的时机手动开启数据校验任务。建议您在全量同步（如有）完成，并且增量同步的延迟时间为 0 时，再手动启动数据校验任务，否则数据校验结果可能不准确。
计费类型	目前仅支持按量计费，且不可修改。

单击预检查。

（可选）当创建的任务已有预检查时，您可以根据以下提示确认是否重新发起预检查，当需要重新发起预检查时，请在是否重新发起预检查对话框，单击确定。

若源端和目标端的数据库实例未做修改，则无需再次发起预检查。

如果修改了源端、目标端的数据库实例信息或同步任务的参数配置，那么建议您重新发起预检查，否则可能会导致任务启动失败或者任务中断。

在预检查配置向导页面，根据检查结果执行以下操作：

单击预检查结果操作列的详情，查看详细的告警和失败信息，并根据告警或失败信息修改库表后，单击重试。

单击操作列的忽略，忽略本次告警继续启动同步任务。同时，也可以单击忽略全部，一键忽略全部告警信息。

说明

选择忽略告警并启动同步任务，可能导致数据不一致，带来业务风险。

关于预检查的具体说明，请参见预检查项。

在预检查页面右下角，单击确认订单。

根据创建任务的计费类型，选择配置方式：

按量付费

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

包年包月

在确认订单配置向导页面，再次确认配置信息。阅读《数据库产品和服务条款》并勾选我已阅读并同意《数据库产品和服务条款》，然后单击创建并启动任务。

在确认订单信息配置向导页面，确认实例的计费信息。

（可选）单击代金券兑换，在代金券兑换对话框，输入代金券兑换码后单击兑换。

（可选）在代金券区域，按需勾选可用代金券，单次仅支持选中一张，即可抵扣部分费用。也可不使用代金券。

单击下一步。

说明

在支付完成配置向导页面，显示支付成功则任务创建成功。

成功创建数据同步任务后，您可以返回 DTS 控制台，在数据同步任务列表查看数据同步任务的信息。

API	描述
CreateTransmissionTask	调用 CreateTransmissionTask 接口创建数据库传输服务任务。
ModifyTransmissionTask	调用 ModifyTransmissionTask 接口修改传输任务。