存储迁移服务
存储迁移服务
文档指南
请输入
- 文档首页
存储迁移服务API 参考DMS 1.0 APIDMS OpenAPICreateDataMigrateTask - 创建迁移任务
复制全文
下载 pdfCreateDataMigrateTask - 创建迁移任务
文档反馈
问问助手调用 CreateDataMigrateTask 接口创建迁移任务。
请求参数
Action string 必选 示例值：CreateDataMigrateTask
要执行的操作，取值：CreateDataMigrateTask。
Version string 必选 示例值：2018-01-01
API的版本，取值：2018-01-01。
BasicConfig object 必选 示例值：-
迁移任务基本配置。
TaskName string 必选 示例值：dms
迁移任务的名称。
FailedNumToAbort integer 可选 示例值：2
允许迁移任务连续失败的对象数量，取值范围为 [-1, +∞)。其中 -1 表示无限制，默认为 20。
EnableRangeCheck boolean 可选 示例值：true
是否开启抽样校验功能，开启抽样校验后，DMS 会从源端获取每个对象的 100 个字节，从目标端获取对应每个对象的 100 个字节，然后进行校验，确保源端和目标端的数据一致性。取值说明如下：
- true：开启抽样校验。
- false：不开启抽样校验。
- 默认为false。
OverwritePolicy string 必选 示例值：Force
迁移任务覆盖策略，取值说明如下：
- Force：针对同名文件，不做任何判断，直接用源端覆盖目的端。
- None：针对同名文件，不做任何判断，直接跳过。
- LastModify：当源端和目标端出现同名文件时，根据文件的 lastmodify 字段（最后修改时间）判断是否进行覆盖，仅当源端文件的最后修改时间晚于目的端文件最后修改时间时执行覆盖。
SourceType string 必选 示例值：StorageTypeObject
源端数据的类型，取值说明如下：
- StorageTypeObject：源端类型为对象存储。
- StorageTypeUrl：源端类型为 URL 列表。
StorageClass string 必选 示例值：Standard
迁移的对象在目标端的存储类型，取值说明如下：
- Standard：标准存储。
- InheritSource：继承源端存储类型。
- Ia：低频存储。
- ArchiveFr：归档闪回存储。
- IntelligentTiering：智能分层存储。
- ColdArchive：冷归档存储。
- Archive：归档存储。
- DeepColdArchive：深度冷归档。
ObjectMigrationPolicy object 可选
迁移策略
SyncAcl boolean 可选
是否迁移对象 ACL
SyncTag boolean 可选
是否迁移对象 Tag
SyncSymlink boolean 可选
是否迁移 Symlink 对象
OfflineMigrationPolicy object 可选
离线迁移配置
Source string 必选
源桶类型
Target string 必选
目标桶类型
Bandwidth long 可选 示例值：200000
迁移任务的默认带宽，单位为 Byte/s。默认为 1073741824。
AdvanceConfig object 可选 示例值：-
迁移任务高级配置。
PrivateLink object 可选 示例值：-
使用专线迁移数据时的网络配置。
VpcID string 必选 示例值：vpc-3ewj81jek8l4w70o42vd****
私有网络 ID。
SubnetID string 必选 示例值：subnet-36stxciqoo6ww383g0x25****
私有网络下的子网 ID。
SecurityGroupIDs string[] 必选 示例值：sg-3rfeg3y7jccg016nf3p9v****
私有网络下的安全组 ID。
IdcIP string 必选 示例值：192.168.0.0
数据中心的 IPv4 地址。
IdcPort integer 必选 示例值：8008
数据中心的 IPv4 地址的端口号。
ENIRole string 必选 示例值：DMSEniCtlRole
用户虚拟网卡委托授权角色名称。DMS 创建 shuttle 时需要通过该角色获取相关权限。
说明
在控制台创建 DMS 专线任务后，控制台会自动创建 DMSEniCtlRole 角色，建议您先在控制台创建专线任务，否则您需要手动创建该角色。
RenameSetting object 可选 示例值：-
对象重命名配置。
Pattern string 必选 示例值：^
重命名的正则表达式规则。
ReplaceStr string 必选 示例值：prefix-path/
替换的目标字符串。
IncreaseSetting object 可选 示例值：-
增量迁移配置。
Times integer 必选 示例值：1
在存量迁移（即首次迁移）完成之后，执行增量迁移的次数，仅支持 1~100 的整数。
Interval integer 必选 示例值：3600
增量迁移间隔时间，即每隔多长时间启动一次增量迁移任务，单位为秒，仅支持 3600～86400 的整数。
TimeBandwidthSetting object[] 可选 示例值：-
分时流控配置。
Start integer 必选 示例值：23
流控起始时间，取值范围为 0~23。
End integer 必选 示例值：2
流控终止时间。取值范围为 1~24。
Bandwidth long 必选 示例值：100
流控的速率，单位 Byte/s。
Source object 必选 示例值：-
迁移任务源端配置。
ObjectSourceConfig object 可选 示例值：-
源端数据源为对象存储的访问配置。
BucketAccessConfig object 必选 示例值：-
对象所在桶访问配置。
AK string 可选 示例值：AKLTM2NlN2E5Yzg2ZDhkNDBjMGIzZGU3MDllMzE4NzU****
用于访问对象存储的 AccessKey ID。
SK string 可选 示例值：T1RkbVpHTmlNakl3TWpobE5EVmlObUkzTURrMU16STNZakF4TW****
用于访问对象存储的 AccessKey Secret。
BucketName string 必选 示例值：test
存储桶名称。
RoleTrn string 可选 示例值：trn:iam::210015****:role/dms_role
跨服务授权所用 RoleTrn。
说明
设置 RoleTrn 后，您无需设置 AK、SK 信息。经过您的授权，DMS 可直接读取存储桶列表、文件。
Vendor string 必选 示例值：StorageVendorTOS
源端数据源，取值说明如下:
- StorageVendorTOS：对象存储-火山引擎
- StorageVendorS3：其他S3协议存储
- StorageVendorOBS：华为云
- StorageVendorCOS：腾讯云
- StorageVendorOSS：阿里云
- StorageVendorKodo：七牛云
- StorageVendorKs3：金山云
- StorageVendorGCS：谷歌云
- StorageVendorURLAtEndPoint：源端数据为 URL 列表时，需要选择该项，表示使用下载地址获取文件列表。
说明
使用 CreateDataMigrateTask 接口创建迁移任务时，仅支持一种 URL 列表文件上传方式，即下载地址。
Region string 必选 示例值：cn-beijing
存储桶所在 Region。
Endpoint string 必选 示例值：tos-cn-beijing.volces.com
对象存储的访问域名，不包含桶名。
PrefixList string[] 可选 示例值：[prefix1,prefix2]
需要迁移的前缀列表，多个前缀用英文逗号（,）隔开。
说明
PrefixList、PrefixListFile、KeyListFile 用于指定需要迁移的文件，只需设置其中一个参数即可。
PrefixListFile string 可选 示例值：https://test.tos-cn-beijing.volces.com/excel.txt
指定需要迁移的前缀列表文件访问链接。
KeyListFile string 可选 示例值：https://test.tos-cn-beijing.volces.com/data.txt
需要迁移的对象列表访问链接。
ScanWithDelimiter boolean 可选 示例值：true
列举源端是否携带分隔符。取值说明如下：
- true：携带分隔符列举，DMS 可以获取到源端存储桶多级目录下的文件，保证了迁移到 TOS 的文件完整性。
注意
如果使用带分隔符列举功能，设置指定迁移范围为包含（即设置 IsExcluded 为 false），并且通过前缀（通过 PrefixList 参数指定前缀，或通过 PrefixListFile 参数指定前缀列表 ）的方式指定迁移范围，那么前缀必须要以斜线（/）结尾。
- false：不携带分隔符列举，迁移文件的速度更快，但是在源端对象存储开启桶加速等场景下，有可能存在迁移到 TOS 的文件不全的问题。
StartTime string 可选 示例值："2024-09-03 14:26:57"
通过日期指定迁移的文件，指定后，将迁移该日期之后创建或修改的文件。
IsExcluded boolean 必选 示例值：true
用于指定排除迁移的对象，必须搭配 PrefixList，或者搭配 PrefixListFile 一起使用，否则无效。
通过 PrefixList 或 PrefixListFile 指定对象后，IsExcluded 不同的取值，迁移操作不同，取值说明如下：
- true：开启排除功能，开启后，DMS 将排除 PrefixList 或 PrefixListFile 中指定的对象，只迁移排除后剩余的对象。
- false：不开启排除功能，DMS 将迁移 PrefixList 或 PrefixListFile 中指定的对象。
UrlSourceConfig object 可选 示例值：-
源端数据源为 URL 列表的访问配置。
IsUrlTryRangeGet boolean 可选 示例值：false
是否开启 range-get 迁移，说明如下：
- true：开启 range-get 迁移，开启后，DMS 将支持断点续传的方式迁移文件，即在网络波动等情况下导致文件传输中断后，重新传输文件，DMS 会在文件断点处开始传输，避免从头传输文件产生额外流量，从而节省成本。
- false：不开启 range-get 迁移。
BucketAccessConfig object 可选 示例值：-
URL 列表文件所在桶访问配置。
说明
BucketAccessConfig 和 UrlListName 参数通过指定存储桶和列表文件名称来选择 URL 文件列表，因此 BucketAccessConfig 和 UrlListName 参数必须同时设置。
AK string 可选 示例值：AKLTM2NlN2E5Yzg2ZDhkNDBjMGIzZGU3MDllMzE4NzU****
用于访问对象存储的 AccessKey ID。
SK string 可选 示例值：T1RkbVpHTmlNakl3TWpobE5EVmlObUkzTURrMU16STNZakF4TW****
用于访问对象存储的 AccessKey Secret。
BucketName string 必选 示例值：test
存储桶名称。
RoleTrn string 可选 示例值：trn:iam::210015****:role/dms_role
跨服务授权所用 RoleTrn。
说明
设置 RoleTrn 后，您无需设置 AK、SK 信息。经过您的授权，DMS 可直接读取存储桶列表、文件。
Vendor string 必选 示例值：StorageVendorTOS
源端数据源，取值说明如下:
- StorageVendorTOS：对象存储-火山引擎
- StorageVendorS3：其他S3协议存储
- StorageVendorOBS：华为云
- StorageVendorCOS：腾讯云
- StorageVendorOSS：阿里云
- StorageVendorKodo：七牛云
- StorageVendorKs3：金山云
- StorageVendorGCS：谷歌云
- StorageVendorURLAtEndPoint：源端数据为 URL 列表时，需要选择该项，表示使用下载地址获取文件列表。
说明
使用 CreateDataMigrateTask 接口创建迁移任务时，仅支持一种 URL 列表文件上传方式，即下载地址。
Region string 必选 示例值：cn-beijing
存储桶所在 Region。
Endpoint string 必选 示例值：tos-cn-beijing.volces.com
对象存储的访问域名，不包含桶名。
UrlListName string 可选 示例值：data.txt
URL 列表的名称。
说明
UrlListLink 和 UrlListName 参数二选一，不需要同时设置。
UrlListLink string 可选 示例值：https://test.tos-cn-beijing.volces.com/data.txt
URL 列表的公网访问链接。
说明
UrlListLink 和 UrlListName 参数二选一，不需要同时设置。
Target object 必选 示例值：-
迁移任务目标端配置。
AK string 可选 示例值：AKLTM2NlN2E5Yzg2ZDhkNDBjMGIzZGU3MDllMzE4NzU****
用于访问目标对象存储的 AccessKey ID。
SK string 可选 示例值：T1RkbVpHTmlNakl3TWpobE5EVmlObUkzTURrMU16STNZakF4TW****
用于访问目标对象存储的 AccessKey Secret。
BucketName string 必选 示例值：data
目标桶桶名。
RoleTrn string 可选 示例值：trn:iam::2100xxxx4:role/dms_role
跨服务授权所用 RoleTrn。
说明
设置 RoleTrn 后，您无需设置 AK、SK 信息。经过您的授权，DMS 可直接读取存储桶列表、文件。
返回参数
TaskID long 示例值： 298686
任务 ID。
请求示例
POST /?Action=CreateDataMigrateTask&Version=2018-01-01 HTTP/1.1
Host: dms.cn-beijing.volcengineapi.com
Content-Type: application/json; charset=UTF-8
X-Date: 20240513T062624Z
X-Content-Sha256: 287e874e******d653b44d21e
Authorization: HMAC-SHA256 Credential=Adfks******wekfwe/20240513/cn-beijing/dms/request, SignedHeaders=host;x-content-sha256;x-date, Signature=47a7d934ff7b37c03938******cd7b8278a40a1057690c401e92246a0e41085f
{
"BasicConfig":
{
"OverwritePolicy": "Force",
"SourceType": "StorageTypeObject",
"StorageClass": "Standard",
"TaskName": "test1"
},
"Source":
{
"ObjectSourceConfig":
{
"BucketAccessConfig":
{
"AK": "AKLTM2NlN2E5Yzg2ZDhkNDBjMGIzZGU3MDllMzE4NzU****",
"BucketName": "data",
"Endpoint": "http://tos-cn-beijing.volces.com",
"Region": "cn-beijing",
"SK": "T1RkbVpHTmlNakl3TWpobE5EVmlObUkzTURrMU16STNZakF4TWpNME0y****",
"Vendor": "StorageVendorTOS"
}
}
},
"Target":
{
"AK": "AKLTM2NlN2E5Yzg2ZDhkNDBjMGIzZGU3MDllMzE4NzU****",
"BucketName": "bucketname",
"SK": "T1RkbVpHTmlNakl3TWpobE5EVmlObUkzTURrMU16STNZakF4TWpNME0y****"
}
}
返回示例
{
"ResponseMetadata": {
"RequestId": "2024051314263307210712807736****",
"Action": "CreateDataMigrateTask",
"Version": "2018-01-01",
"Service": "dms",
"Region": "cn-beijing"
},
"Result": {
"TaskID": 298686
}
}
错误码
最近更新时间：2026.01.27 18:52:32
这个页面对您有帮助吗？
有用
有用
无用
无用