文档中心

存储迁移服务

DMS 2.0 迁移指南

创建迁移任务

您可以在 DMS 2.0 中创建迁移任务，将数据迁移到火山引擎 TOS。任务创建完成后，DMS 会根据所选服务类型和任务配置执行数据迁移操作。本文介绍创建迁移任务的前提条件、操作步骤等内容。

前提条件

已创建迁移地址，配置源端和目的端地址，具体操作，请参见创建迁移地址。

若选择半托管服务类型执行迁移任务，需提前完成以下准备工作：

已创建代理组，并确保代理组运行状态正常。具体操作，请参见创建代理组。

已在本地服务器或计算环境中安装 Agent。具体操作，请参见部署代理。

若选择全托管模式执行迁移任务，需提前完成以下准备工作：

若源端需要通过专线或私有网络访问，请先完成网络连通配置。关于专线网络的配置方法，请参见专线网络。

若源端为第三方云服务，且未配置专线或私有网络连通，DMS 将通过公网访问源端。请确保源端已允许公网访问，并已配置相应的访问授权。

若源端数据源为对象存储-火山引擎，且源端存储桶与迁移任务属于同一地域，DMS 将通过内网访问源端。

若访问源端或列表文件需要鉴权，请提前准备好对应的访问凭证。

约束说明

每个账号每个地域最多可创建 100 个迁移任务。

当前仅 S3 类型的源端地址支持用于全托管模式增量迁移任务。关于支持的地址类型，请参见创建迁移地址。

创建增量迁移任务时，请注意以下约束，否则可能导致增量迁移失败或数据不一致。

目前仅华北2（北京）支持增量迁移，如有其他使用需求，请提交工单联系客户经理。

当前仅全托管模式支持创建增量迁移任务。

当前不支持增量迁移多版本对象，请确保源端存储桶未开启多版本功能。

增量迁移任务不会自动结束。完成存量迁移后，任务会持续监听源端新增或变更事件；如需停止增量迁移，需由用户手动暂停或删除任务。

全托管和半托管对比

全托管：由 DMS 提供并管理迁移所需的计算资源，您无需自行部署和维护迁移代理。完成源端、目的端及迁移参数配置后，即可由 DMS 执行数据迁移。

半托管：由 DMS 提供任务管理与调度能力，您在自己的服务器或计算环境中部署迁移代理（Agent），由 Agent 读取源端数据并传输至目的端存储。

对比维度	全托管	半托管
适用场景	适用于希望快速创建迁移任务、减少本地部署和运维成本的场景。	适用于需要通过自有网络环境访问源端数据，或源端无法被 DMS 托管服务直接访问的场景。
迁移执行节点	由 DMS 提供、管理并维护迁移执行节点。	由用户在自有环境中部署迁移执行节点，并管理和维护。
代理组/代理配置	无需配置。	需要先创建代理组，并在用户环境中部署、配置和维护代理。
增量迁移	支持，并可配置新增文件和删除文件事件类型。	当前不支持。
文件重命名	支持在迁移过程中对文件名或路径进行重命名。	当前不支持。
分时流控	支持。可开启分时流控，配置时区和分时流控规则。	当前不支持。

创建迁移任务

登录存储迁移服务控制台。

在左侧导航栏，选择 DMS2.0 > 迁移任务。

在迁移任务页面顶部导航栏，选择地域。

说明

DMS 当前不支持跨地域迁移，迁移任务必须与目标存储桶位于同一地域。为确保迁移任务正常执行，您需要在目标存储桶所在地域创建迁移任务。

单击创建任务。

在选择服务类型的配置向导中，配置如下参数。

参数	说明
任务名称	设置迁移任务的名称，命名规则如下： 3~32 个字符之间。只能包含小写字母、数字、中划线（-）。名称不能以中划线（-）开头或结尾。
服务类型	选择迁移任务的执行模式，支持以下类型：半托管：由 DMS 提供任务管理与调度能力，您需在自有服务器或计算环境中部署迁移代理（Agent），由 Agent 读取源端数据并传输至目标存储。全托管：由 DMS 提供并管理迁移所需的计算资源，您无需自行部署和维护迁移代理。
代理组	仅当服务类型选择半托管时需要配置当前参数。用于指定执行当前迁移任务的代理组。

单击下一步，选择源端地址和目的端地址。

单击下一步，根据所选服务类型配置迁移任务参数。

半托管

全托管

区域	参数	说明
基本配置	覆盖策略	指定当源端和目的端出现同名文件时的覆盖策略，策略说明如下：不覆盖：针对同名文件，不做任何判断，直接跳过。覆盖：针对同名文件，不做任何判断，直接用源端覆盖目的端。根据最后修改时间覆盖：当源端和目的端出现同名文件时，根据文件的 lastmodify 字段（最后修改时间）判断是否进行覆盖，仅当源端文件的最后修改时间晚于目的端文件最后修改时间时执行覆盖。
		文件存储方式	设置文件迁移至 TOS 的存储类型，支持选择全部使用标准存储、保持原存储属性、全部使用低频存储、全部使用归档闪回存储、全部使用智能分层存储、全部使用归档存储、全部使用冷归档存储、全部使用深度冷归档存储。关于 TOS 存储类型的详细介绍，请参见存储类型。以下为保持原存储属性和全部使用智能分层的参数说明：保持原存储属性：迁移至 TOS 时，DMS 默认按照 S3 存储类型与 TOS 存储类型的对应关系保存文件。若源端文件的存储类型与 S3 无对应关系，则默认保存为 TOS 标准存储。全部使用智能分层：迁移至 TOS 时，文件将保存至智能分层高频访问层。
		软链接迁移策略	软链接文件迁移策略，可选不迁移软链接文件或将软链接文件以独立文件的形式迁移到 TOS。
		是否推送迁移报告	是否在数据迁移完成后生成迁移报告，并将其存储到数据迁移的目标存储桶。
		目标前缀	设置数据在存储桶中的存储路径。说明存储路径必须以斜杠（/）结尾，例如 test/。仅 v1.0.9 及以上版本的 DMS Agent 支持目标前缀功能。您可以执行 ./dms-agent -v 命令，查看当前所使用的 DMS Agent 版本。如果您的版本低于 v1.0.9，建议您升级 DMS Agent，具体操作，请参见停止、卸载和升级。
回调配置	回调配置	开启后，可按配置接收迁移任务状态回调通知。
		回调地址	开启回调配置时，需配置接收回调的业务方地址，必须以 http:// 或 https:// 开头，生产环境建议使用 HTTPS。
		订阅回调状态	开启回调配置时，需配置订阅的任务终态，默认选择完成和失败。
		自定义回调参数	开启回调配置时，支持配置业务自定义透传参数，以参数名/参数值形式随回调请求发送，用于携带业务标识、租户信息等便于接收端路由与幂等。
过滤器	过滤方式	指定文件迁移范围，支持通过以下方式指定待迁移的文件：前缀：通过文件前缀来指定文件迁移范围。设置文件名前缀后，将仅迁移指定前缀的文件。可以设置多个前缀，最多支持设置 10 个文件前缀。例如迁移 user/data 目录下的所有文件，则需要设置文件前缀为 user/data/。列表文件：将待迁移的文件名称或目录名称记录在列表文件中，然后将列表文件上传到对象存储。选择列表文件的过滤方式后，您需要填写列表文件所属存储桶的 Access Key ID、Secret Access Key ，然后选择列表文件存储桶、列表文件。完成配置后，将仅迁移列表文件中指定的文件。列表文件约束限制如下：列表文件必须为 txt 格式。列表文件中每一行是一个文件，多个文件请换行输入。列表文件中的文件名称需要符合 UTF-8 编码规则。
		文件名前缀	当过滤方式选择前缀时，需要设置文件名前缀。系统仅迁移匹配该前缀的文件。支持单击添加一行设置多个前缀。
		清单类型	当过滤方式选择为列表文件时，需要选择列表文件内容的类型：前缀：列表文件中记录的是对象的前缀。文件对象：列表文件中记录的是具体的完整对象名称。
		Access Key ID	当过滤方式选择为列表文件时，需要设置用于访问列表文件存储桶的 Access Key ID。DMS 将使用该凭证读取列表文件内容。
		Access Key Secret	当过滤方式选择为列表文件时，需要设置与 Access Key ID 配套的 Secret Access Key。请确保该凭证具备访问列表文件存储桶及列表文件的权限。
		桶选择方式	当过滤方式选择为列表文件时，需要指定列表文件存储桶的选择方式。支持以下方式：获取可选桶列表并选择：可从系统返回的可访问桶列表中直接选择。输入桶名称：需要手动填写存储桶名称。
		列表文件存储桶	当过滤方式选择为列表文件时，需要指定存放列表文件的存储桶。若桶选择方式为获取可选桶列表并选择，则从列表中选择存放列表文件的存储桶名称。若桶选择方式为输入桶名称，则手动输入存放列表文件的存储桶名称。
		列表文件	当过滤方式选择为列表文件时，需要指定用于筛选迁移范围的列表文件。若桶选择方式为获取可选桶列表并选择，则从选定的列表文件存储桶中选择列表文件。若桶选择方式为输入桶名称，则手动填写列表文件名称。支持单击添加一行配置多个列表文件。
		迁移文件时间范围	按照文件最后一次修改时间来筛选需要迁移的文件，默认为迁移全部，参数说明如下：迁移全部：迁移所有文件。指定时间范围：筛选需要迁移的文件，支持三种指定方式，说明如下：指定起始时间：仅指定开始日期，结束日期置空，表示仅迁移最后一次修改时间晚于该日期的文件。指定结束时间：仅指定结束日期，开始日期置空，表示仅迁移最后一次修改时间早于该日期的文件。指定时间范围：指定开始日期和结束日期，表示仅迁移最后一次修改时间处于该时间范围内的文件。说明文件前缀、列表文件和文件最后修改时间为与的关系。如果同时设置过滤方式（文件前缀或列表文件）和文件最后修改时间，系统将迁移同时满足这两个条件的文件：指定文件，且最后修改时间在指定时间范围内的文件。

区域	参数	说明
基本配置	覆盖策略	指定当源端和目的端出现同名文件时的覆盖策略，策略说明如下：不覆盖：针对同名文件，不做任何判断，直接跳过。覆盖：针对同名文件，不做任何判断，直接用源端覆盖目的端。根据最后修改时间覆盖：当源端和目标端出现同名文件时，根据文件的 lastmodify 字段（最后修改时间）判断是否进行覆盖，仅当源端文件的最后修改时间晚于目的端文件最后修改时间时执行覆盖。
		文件存储方式	设置文件迁移至 TOS 的存储类型，支持选择全部使用标准存储、保持原存储属性、全部使用低频存储、全部使用归档闪回存储、全部使用智能分层存储、全部使用归档存储、全部使用冷归档存储、全部使用深度冷归档存储。关于 TOS 存储类型的详细介绍，请参见存储类型。以下为保持原存储属性和全部使用智能分层的参数说明：保持原存储属性：迁移至 TOS 时，DMS 默认按照 S3 存储类型与 TOS 存储类型的对应关系保存文件。若源端文件的存储类型与 S3 无对应关系，则默认保存为 TOS 标准存储。全部使用智能分层：迁移至 TOS 时，文件将保存至智能分层高频访问层。
		增量迁移事件类型	指定增量迁移需要监听的事件类型，支持同步新增和删除事件。新增文件：表示源端新增或更新文件后自动执行增量迁移。删除文件：表示源端删除文件后同步删除目标端对应文件。说明该参数仅在所配置源端地址开启增量事件监听后生效。详情请参见创建迁移地址。选择删除文件时，请注意以下约束，否则可能导致删除同步失败或数据不一致：目标端仅会删除由 DMS 迁移写入的对象，非 DMS 写入的对象不会被删除。源端删除事件通知必须携带被删除对象的 ETag 信息。缺少 object_key 或 ETag 的事件将被监听拒绝，并记录失败原因。
		软链接迁移策略	软链接文件迁移策略，可选不迁移软链接文件或将软链接文件以独立文件的形式迁移到 TOS。
		是否推送迁移报告	是否在数据迁移完成后生成迁移报告，并将其存储到数据迁移的目标存储桶。
		文件重命名	控制是否在迁移过程中对文件名或路径进行重命名。开启后，可通过正则表达式匹配文件名或路径中的指定内容，并替换为目标字符串。
		正则表达式	开启文件重命名时，需输入用于匹配文件名或路径的正则表达式规则。系统会根据该规则识别需要重命名的内容。支持以下常见场景：添加前缀 p/：正则填 ^，替换填 p/。修改前缀 p1/ 为 p2/：正则填 ^p1/，替换填 p2/。删除前缀 p/：正则填 ^p/，替换留空。修改后缀 .t 为 .c：正则填 \.t$，替换填 .c。修改文件名 a 为 b：正则填 a，替换填 b。
		替换为	开启文件重命名时，支持输入替换字符串，用于替换正则表达式匹配到的内容；若需执行删除操作，此处留空即可。
分时流控	开启分时流控	开启后，可按指定时区和时间段对迁移任务进行限速或暂停迁移。
		时区	开启分时流控时，需选择分时流控规则的生效时区。
		分时流控规则	开启分时流控时，需配置任务在不同时间段内的迁移控制策略，最多可添加 5 条规则。若多条规则同时命中，则按限制更严格的配置生效。配置参数如下：规则名称：设置分时流控规则名称，用于区分和识别不同规则。生效日期：设置规则生效的日期范围，支持按天配置，例如每天或指定星期。起止时间：设置规则的生效时间段，任务仅在该时间段内按当前规则执行。开始时间不得晚于结束时间。00:00 至 00:00 表示规则全天生效。暂停迁移：开启后，任务将在当前规则生效时段内暂停迁移。带宽上限：设置当前规则生效时段内的最高迁移速度。仅在未开启暂停迁移时生效，取值范围 1~1024 MB/s。
回调配置	回调配置	开启后，可按配置接收迁移任务状态回调通知。
		回调地址	开启回调配置时，需配置接收回调的业务方地址，必须以 http:// 或 https:// 开头，生产环境建议使用 HTTPS。
		订阅回调状态	开启回调配置时，需配置订阅的任务终态，默认选择完成和失败。
		自定义回调参数	开启回调配置时，支持配置业务自定义透传参数，以参数名/参数值形式随回调请求发送，用于携带业务标识、租户信息等便于接收端路由与幂等。
过滤器	过滤方式	指定文件迁移范围，支持通过以下方式指定待迁移的文件：前缀：通过文件前缀来指定文件迁移范围。设置文件名前缀后，将仅迁移指定前缀的文件。可以设置多个前缀，最多支持设置 10 个文件前缀。例如迁移 user/data 目录下的所有文件，则需要设置文件前缀为 user/data/。列表文件：将待迁移的文件名称或目录名称记录在列表文件中，然后将列表文件上传到对象存储。选择列表文件的过滤方式后，您需要填写列表文件所属存储桶的 Access Key ID、Secret Access Key ，然后选择列表文件存储桶、列表文件。完成配置后，将仅迁移列表文件中指定的文件。列表文件约束限制如下：列表文件必须为 txt 格式。列表文件中每一行是一个文件，多个文件请换行输入。列表文件中的文件名称需要符合 UTF-8 编码规则。
		文件名前缀	当过滤方式选择前缀时，需要设置文件名前缀。系统仅迁移匹配该前缀的文件。支持单击添加一行设置多个前缀。
		清单类型	当过滤方式选择为列表文件时，需要选择列表文件内容的类型：前缀：列表文件中记录的是对象的前缀。文件对象：列表文件中记录的是具体的完整对象名称。
		Access Key ID	当过滤方式选择为列表文件时，需要设置用于访问列表文件存储桶的 Access Key ID。DMS 将使用该凭证读取列表文件内容。
		Access Key Secret	当过滤方式选择为列表文件时，需要设置与 Access Key ID 配套的 Secret Access Key。请确保该凭证具备访问列表文件存储桶及列表文件的权限。
		桶选择方式	当过滤方式选择为列表文件时，需要指定列表文件存储桶的选择方式。支持以下方式：获取可选桶列表并选择：可从系统返回的可访问桶列表中直接选择。输入桶名称：需要手动填写存储桶名称。
		列表文件存储桶	当过滤方式选择为列表文件时，需要指定存放列表文件的存储桶。若桶选择方式为获取可选桶列表并选择，则从列表中选择存放列表文件的存储桶名称。若桶选择方式为输入桶名称，则手动输入存放列表文件的存储桶名称。
		列表文件	当过滤方式选择为列表文件时，需要指定用于筛选迁移范围的列表文件。若桶选择方式为获取可选桶列表并选择，则从选定的列表文件存储桶中选择列表文件。若桶选择方式为输入桶名称，则手动填写列表文件名称。支持单击添加一行配置多个列表文件。
		迁移文件时间范围	按照文件最后一次修改时间来筛选需要迁移的文件，默认为迁移全部，参数说明如下：迁移全部：迁移所有文件。指定时间范围：筛选需要迁移的文件，支持三种指定方式，说明如下：指定起始时间：仅指定开始日期，结束日期置空，表示仅迁移最后一次修改时间晚于该日期的文件。指定结束时间：仅指定结束日期，开始日期置空，表示仅迁移最后一次修改时间早于该日期的文件。指定时间范围：指定开始日期和结束日期，表示仅迁移最后一次修改时间处于该时间范围内的文件。说明文件前缀、列表文件和文件最后修改时间为与的关系。如果同时设置过滤方式（文件前缀或列表文件）和文件最后修改时间，系统将迁移同时满足这两个条件的文件：指定文件，且最后修改时间在指定时间范围内的文件。

单击下一步，检查迁移任务的各项参数。

参数检查无误后，阅读并勾选存储产品和服务条款，单击提交。

查看迁移结果

任务创建完成后，DMS 会根据迁移任务配置直接执行数据迁移。任务迁移完成后，您可以在目标存储桶中，按照创建任务时配置的目标前缀及文件重命名规则，查看迁移后的对象；如果未配置目标前缀，则可在目标存储桶根目录查看迁移后的对象。

查看迁移任务的统计数据

在迁移任务页面，单击目标任务的名称，在任务详情页面查看迁移存储量、迁移文件数量、预估剩余迁移时间等信息。

查看迁移文件的详细信息

如果创建迁移任务时开启了推送迁移报告功能，数据迁移完成后，DMS 生成迁移报告，并存储到数据迁移的目标存储桶。详细介绍，请参见查看迁移报告。

操作	说明
复制任务	单击目标任务操作列下的 ... > 复制，在创建任务页面，确认信息无误后，根据页面指引完成新任务的创建。
修改代理组	单击目标任务操作列下的修改代理组，在修改代理组对话框，选择代理组，单击确定。说明仅队列中、准备中、已暂停、失败状态的迁移任务支持修改代理组。
删除任务	单击目标任务操作列下的删除，在弹出的对话框，单击删除。
暂停任务	在迁移任务页面，单击目标任务操作列下的暂停，在弹出的对话框，单击确定。说明仅运行中的任务支持暂停。