文档中心

存储迁移服务

DMS 2.0 迁移指南

创建迁移地址

迁移数据前，您需要在控制台创建源端地址和目标端地址，用于指定数据迁移的起始位置和存放迁移数据的目标存储桶。本文介绍创建迁移地址的操作步骤。

注意事项

每个账号每个地域最多可创建 200 个迁移地址。

前提条件

创建 HTTP 类型的源端地址之前，需要先上传 HTTP/HTTPS 列表文件到源端存储桶。

HTTP/HTTPS 列表文件的格式要求如下：

采用 CSV 格式。

每行表示一个文件，行与行之间用 \n 分割。

每个文件有多个属性项，项与项之间用英文逗号（,）分割。

列表文件配置参数如下表所示。

名称	是否必填	描述
Url	是	DMS 2.0 Agent 使用该链接的 Get 请求下载文件内容，Head 请求获取文件元数据。 Url 项必须要做编码处理，不做编码处理、包含特殊字符可能会导致文件迁移失败。
Key	是	迁移后的 Object Name 为 prefix + 文件名。 Key 项必须要做编码处理，不做编码处理、包含特殊字符可能会导致文件迁移失败。
Size	否	迁移文件的大小，单位为字节（Byte）。该字段用于统计迁移文件的存储量，缺失该字段会导致控制台上无法准确获取存储进度信息。
Crc64	否	该对象的 64 位 CRC 值，根据 ECMA-182 标准计算得出。传入该字段后，DMS 2.0 请求源端时如果源端未返回 CRC64，则会根据该值进行校验。

列表文件配置示例：

创建源端地址

登录存储迁移服务控制台。

在左侧导航栏，选择 DMS2.0 > 地址管理。

在地址管理页面顶部导航栏，选择地域。

单击创建地址。

在创建地址面板，配置基础参数。

参数	说明
名称	设置地址名称，命名规则如下： 3~32 个字符之间。只能包含小写字母、数字、中划线（-）。名称不能以中划线（-）开头或结尾。
属性	选择源端地址。
专线网络（可选）	选择用于访问源端的专线网络。配置后，DMS 将通过该专线网络与源端建立连接。详情请参见专线网络。
类型	选择源端类型，说明如下： LocalFS：源端为本地文件系统。 S3：源端为兼容 S3 协议的对象存储。 S3Directory：源端为兼容 S3 协议，并采用文件语义的对象存储。 HTTP：源端为兼容 HTTP/HTTPS 协议的对象存储。 HDFS：源端为 Hadoop 分布式文件系统。说明当前仅 S3 类型的源端地址支持用于全托管模式增量迁移任务。

在创建地址面板，配置存储空间参数。不同类型的源端对象存储，存储空间的配置参数不同，具体说明如下：

LocalFS 类型的存储空间配置

参数
说明
迁移路径
设置待迁移数据在源端的存放路径。

S3 和 S3Directory 类型的存储空间配置

参数	说明
数据源	选择具体的数据源，说明如下：阿里云：将阿里云上的数据迁移至火山引擎对象存储 TOS。腾讯云：将腾讯云上的数据迁移至火山引擎对象存储 TOS。华为云：将华为云上的数据迁移至火山引擎对象存储 TOS。对象存储-火山引擎：将火山引擎对象存储的数据迁移至火山引擎对象存储 TOS。其他 S3 协议存储：将兼容 S3 协议，并支持 AWS Signature V4 鉴权的对象存储的数据迁移至火山引擎对象存储 TOS。
Access Key ID	用于访问源端对象存储的 AccessKey ID。
Access Key Secret	用于访问源端对象存储的 AccessKey Secret。
源端桶选择方式	设置选择源端桶的方式，说明如下：获取可选源端桶并选择：经过您的授权，DMS 直接读取源端存储桶列表。您无需填写信息，单击刷新加载源端桶列表后，即可在源端桶名的列表中选择存储桶。注意设置源端桶选择方式为获取可选源端桶并选择后，DMS 会默认使用源端对象存储的公网域名传输数据，可能会在源端产生公网流出流量费用。输入源端桶名称：手动输入源端桶名、源端 Region、Endpoint 信息。
源端桶名	指定待迁移的源端对象存储桶名称。
源端 Region	指定待迁移的源端对象存储桶所属地域。
Endpoint	指定源端对象存储的访问域名，地址前需要输入 http:// 或 https://。注意仅支持源端对象存储默认分配的访问域名，不支持自定义域名、AP 域名等其他域名。请勿携带存储桶名称，否则会导致源端连接失败。

HTTP 类型的存储空间配置

列表文件地址的获取方式支持选择文件列表和填写访问地址，不同方式对应的参数说明如下：

选择文件列表

填写访问地址

参数	说明
列表文件地址获取方式	当前选择文件列表，表示从源端存储中选择已存在的列表文件。
源端数据授权模式	指定 DMS 读取源端列表文件时使用的授权方式。支持以下方式：经典模式：需填写源端存储的 Access Key ID 和 Access Key Secret，由 DMS 使用访问凭证读取列表文件。跨服务授权模式：适用于迁移当前账号下的火山引擎对象存储桶，经授权后，DMS 可直接读取源端存储桶中的列表文件。说明该配置仅适用于后续创建全托管模式的迁移任务。
Access Key ID	源端存储的访问密钥 ID。仅源端数据授权模式选择经典模式时必填，用于校验并读取源端存储中的列表文件。
Access Key Secret	源端存储的访问密钥 Secret。仅源端数据授权模式选择经典模式时必填，需与 Access Key ID 配套使用。
源端桶名	指定存放列表文件的源端对象存储桶名称。
源端文件名	指定列表文件的对象名称，例如 CSV 列表文件名，而非实际待迁移的数据文件名。
源端 Region	源端存储桶所在的地域，用于确认列表文件所在位置。系统会根据填写的源端桶名自动识别，无需手动填写。

HDFS 类型的存储空间配置

参数	说明
NameNode URI	设置 NameNode URI，格式：scheme://namenode-host:port。 Scheme：文件系统实现协议，取值为 hdfs。 Namenode-host：Active NameNode 的主机名或 IP 地址。HA 集群里通常是逻辑名（如 mycluster）。 Port：文件系统监听端口，默认 8020。
迁移路径	设置待迁移数据在源端的存放路径。
认证类型	设置身份验证方式。无：不设置任何验证。简单（默认）：通过用户名进行简单认证。 Kerberos：强身份验证，依赖 Kerberos KDC。
用户名	仅当认证类型选择简单时需要配置。设置访问 HDFS 的用户名称。
配置文件	仅当认证类型选择 Kerberos 时需要配置。填写 Kerberos 认证所需的配置文件信息。
Keytab 文件	仅当认证类型选择 Kerberos 时需要配置。填写 Kerberos 认证使用的 Keytab 文件。
用户主账号	仅当认证类型选择 Kerberos 时需要配置。填写用户对应的 Kerberos 主账号，用于完成身份认证。
服务主账号	仅当认证类型选择 Kerberos 时需要配置。填写 HDFS 服务对应的 Kerberos 主账号。

在创建地址面板，配置增量事件监听参数。

说明

该配置仅适用于后续创建全托管模式的增量迁移任务。

仅当基础配置中的类型选择为 S3，且数据源选择为阿里云、对象存储-火山引擎或其他 S3 协议存储时，才需要配置当前参数。

增量迁移依赖源端对象存储的事件通知能力，开启此功能前，您必须先在源端配置事件通知规则。

阿里云

对象存储-火山引擎/其他 S3 协议存储

参数	说明
开启增量事件监听	是否为源端地址开启增量事件监听。开启：DMS 将通过事件监听机制感知源端新增、更新或删除对象。关闭：仅按当前配置进行存量数据迁移。
监听类型	选择监听类型。当前仅支持 mns。
Endpoint	填写阿里云 MNS 服务的访问地址，用于接收源端对象变更事件消息。
Access Key ID	填写用于访问阿里云 MNS 服务的 Access Key ID。
Access Key Secret	填写与 Access Key ID 配套的 Access Key Secret。
Queue Name	填写用于接收源端增量事件消息的 MNS 队列名称。DMS 将从该队列读取对象新增、变更或删除事件。

完成设置后，单击确定。

创建目的端地址

登录存储迁移服务控制台。

在左侧导航栏，选择 DMS2.0 > 地址管理。

在地址管理页面顶部导航栏，选择地域。

单击创建地址。

在创建地址面板，配置如下参数。

参数	说明
名称	设置地址名称。
属性	选择目标端地址。
类型	当前仅支持将文件迁移到火山引擎 TOS，因此只能选择对象存储-火山引擎。
目的端写入模式	指定 DMS 写入目标端存储时使用的认证方式。支持以下模式：经典模式：手动填写 AK/SK 等信息，用于访问目标存储桶。跨服务授权模式：适用于迁移当前账号下的火山引擎对象存储桶。完成授权后，DMS 可直接读取存储桶列表并向目标桶写入数据。说明该配置仅适用于后续创建全托管模式的迁移任务。
AK	用于访问目标端对象存储的 Access Key ID。
SK	用于访问目标端对象存储的 Secret Access Key。
桶名	选择用于存放迁移数据的目标存储桶。
Region	默认显示存储桶所属地域。

完成设置后，单击确定。

参数	说明
开启增量事件监听	是否为源端地址开启增量事件监听。开启：DMS 将通过事件监听机制感知源端新增、更新或删除对象。关闭：仅按当前配置进行存量数据迁移。
监听类型	选择监听类型。当前仅支持 kafka。
Kafka 集群连接地址	填写 Kafka 集群的连接地址，用于接收源端对象变更事件消息。详情请参见添加接入点。
Topic	填写用于接收增量事件消息的 Topic 名称。DMS 将从该 Topic 订阅源端新增、变更或删除事件。关于 Topic 的创建和管理，请参见创建 Topic。
消费者组 ID	填写 Kafka 消费者组 ID。DMS 将以该消费者组身份消费增量事件消息。关于消费组的创建和管理，请参见创建 Group。
SASL 认证机制	填写 Kafka 集群使用的 SASL 认证机制，例如 PLAIN、SCRAM-SHA-256 或 SCRAM-SHA-512，请以实际 Kafka 集群配置保持一致。详情请参见添加接入点。
SASL 用户名	填写用于 Kafka SASL 认证的用户名。关于 SASL 用户的创建，请参见创建 SASL 用户。
SASL 密码	填写与 SASL 用户名配套的密码。详情请参见创建 SASL 用户。
安全传输协议	填写 Kafka 集群使用的安全传输协议，例如 SASL_SSL 或 SASL_PLAINTEXT，请以实际 Kafka 集群配置保持一致。详情请参见添加接入点。