You need to enable JavaScript to run this app.
文档中心
数据库传输服务

数据库传输服务

复制全文
下载 pdf
数据校验
ModifyValidationTask
复制全文
下载 pdf
ModifyValidationTask
调用 ModifyValidationTask 接口修改数据校验任务。
请求类型
同步请求。
请求参数
参数
类型
是否必选
示例值
描述
TaskId
String
cad03b2ed34d45a585d883d90f******
数据校验任务 ID。
说明
您可以调用 DescribeValidationTasks接口查看数据校验任务的 ID。
TaskName
String
dts-fl8b2m****
数据校验任务名称。
SrcConfig
Object of DataSource
{
"Category": "MySQL",
"CreateTime": 1769672325124,
"DataSourceId": "2016759699713855503",
"EndpointType": "Volc_MySQL",
"ModifyTime": 1769672880664,
"VolcMySQLSettings": {
"DBInstanceId": "mysql-36632f******",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
}
源端信息。
DestConfig
Object of DataSource
{
"Category": "MySQL",
"CreateTime": 1769672325124,
"DataSourceId": "2016759699713855503",
"EndpointType": "Volc_MySQL",
"ModifyTime": 1769672880664,
"VolcMySQLSettings": {
"DBInstanceId": "mysql-36632f******",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
}
目标端信息。
SolutionSettings
Object of SolutionSettings
{
"MySQL2MySQLIncrDataValidationSettings": {
"ObjectMappings": [
{
"DestObjName": "test123",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "test"
}
]
},
"SolutionType": "MySQL2MySQLIncrDataValidation"
}
数据校验任务对象的配置信息。
DataSource
参数
类型
是否必选
示例值
描述
Category
String
MySQL
实例的类型,取值如下:
  • MySQL:表示实例类型为 MySQL。
  • PostgreSQL:表示实例类型为 PostgreSQL。
  • ElasticSearch:表示实例类型为 ElasticSearch。
  • MongoDB:表示实例类型为 MongoDB。
  • Redis:表示实例类型为 Redis。
CreateTime
Long
1734070854504
数据源的创建时间。毫秒时间戳。
DataSourceId
String
1867454442941460510
源端或目标端实例 ID。
ModifyTime
Long
1734070873088
最近一次更新数据源的时间。毫秒时间戳。
EndpointType
String
Volc_MySQL
实例的接入方式,取值如下:
  • Volc_MySQL:表示火山引擎版 MySQL。
  • Volc_veDB_MySQL:表示火山引擎版 veDB MySQL。
  • Volc_PostgreSQL:表示火山引擎版 PostgreSQL。
  • Volc_Mongo:表示火山引擎版 MongoDB。
  • Volc_ElasticSearch:表示火山引擎版 ElasticSearch。
  • Volc_Kafka:表示消息队列 Kafka 版。
  • Volc_RocketMQ:表示消息队列 RocketMQ 版。
  • Volc_Redis:表示火山引擎版 Redis。
  • Public_MySQL:表示公有网络 MySQL。
  • Public_PostgreSQL:表示公有网络 PostgreSQL。
  • Public_Mongo:表示公有网络 MongoDB。
  • Public_ElasticSearch:表示公有网络 ElasticSearch。
  • Public_Redis:表示公有网络 Redis。
  • Builtin_Kafka:表示内置中间件。
  • Express_MySQL:表示专有网络 MySQL。
  • Express_PostgreSQL:表示专有网络 PostgreSQL。
  • Express_Mongo:表示专有网络 MongoDB。
  • Express_Redis:表示专有网络 Redis。
  • Express_Kafka:表示专有网络 Kafka。
  • Express_ElasticSearch:表示专有网络 ElasticSearch。
VolcMySQLSettings
Object of VolcMySQLSettings
{
"DBInstanceId": "mysql-0b5d385f*****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
表示接入方式为火山引擎版 MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_MySQL 时,该参数必选。
VolcveDBMySQLSettings
{
"DBInstanceId": "vedbm-arjlc5di****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "root"
}
表示接入方式为火山引擎版 veDB MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。
VolcPostgreSQLSettings
{
"DBInstanceId": "postgres-5d17bd5c****",
"DBInstanceName": "",
"DBName": "huahua",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Username": "huahua"
}
表示接入方式为火山引擎版 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Volc_PostgreSQL 时,该参数必选。
VolcMongoSettings
Object of VolcMongoSettings
{
"DBInstanceId": "mongo-replica-8ea79132****",
"DBInstanceName": "",
"DeployType": "ReplicaSet",
"MongoAuthSourceDB": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Username": "root"
}
表示接入方式为火山引擎版 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Volc_Mongo 时,该参数必选。
VolcElasticSearchSettings
{
"DBInstanceId": "o-00g0sqi*****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "admin"
}
表示接入方式为火山引擎版 ElasticSearch 的目标库的信息。在 EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。
VolcKafkaSettings
Object of VolcKafkaSettings
{
"AuthType": "PLAIN",
"InstanceId": "kafka-cnnge0tckudy****",
"InstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Topic": "huahua",
"Username": "huahua"
}
表示接入方式为火山引擎版 Kafka 的目标库的信息。在 EndpointType 取值为 Volc_Kafka 时,该参数必选。
VolcRocketMQSettings
{
"AuthType": "PLAIN",
"InstanceId": "rocketmq-cnou964d1e******",
"InstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Topic": "zaizai",
"Username": "uSmQgOHNTy5Uh98nqBGPvCzK"
}
表示接入方式为火山引擎版 RocketMQ 的目标库的信息。在 EndpointType 取值为 Volc_RocketMQ 时,该参数必选。
VolcRedisSettings
Object of VolcRedisSettings
{
"DBInstanceId": "redis-cnlf1xx7vjjw9****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为火山引擎版 Redis 的目标库的信息。在 EndpointType 取值为 Volc_Redis 时,该参数必选。
PublicMySQLSettings
Object of PublicMySQLSettings
{
"Host": "rm-2zey7i58n36x0****.mysql.rds.aliyuncs.com",
"Password": "******",
"Port": 3306,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "rootgg"
}
表示接入方式为公有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Public_MySQL 时,该参数必选。
PublicPostgreSQLSettings
{
"DBName": "postgres",
"Host": "aurora-pg-17-replica-instance-1.czenkuaf0oxm.ap-southeast-2.rds.amazonaws.com",
"Password": "******",
"Port": 5432,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "dts"
}
表示接入方式为公有网络 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Public_PostgreSQL 时,该参数必选。
PublicMongoSettings
Object of PublicMongoSettings
{
"DeployType": "Standalone",
"Endpoints": [
"123"
],
"MongoAuthSourceDB": "123",
"Password": "123",
"RegionSettings": {
"Region": "cn-chongqing-sdv"
},
"Username": "123"
}
表示接入方式为公网自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Public_Mongo 时,该参数必选。
PublicElasticSearchSettings
{
"Endpoints": [
"********"
],
"Password": "dddd",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "ddd"
}
表示接入方式为公有网络 ElasticSearch 的源库或目标库的信息。在 EndpointType 取值为 Public_ElasticSearch 时,该参数必选。
PublicRedisSettings
Object of PublicRedisSettings
{
"Host": "redis-sy013ku146******.redis.inner.ivolces.com",
"Password": "******",
"Port": 6379,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为公有网络 Redis 的源库或目标库的信息。在 EndpointType 取值为 Public_Redis 时,该参数必选。
BuiltinKafkaSettings
{
"Brokers": [
"192.168.2.5:9092",
"192.168.2.5:9192",
"192.168.2.5:9292",
"192.168.2.5:9392",
"192.168.2.5:9492",
"192.168.2.5:9592"
],
"Topic": "123e8d8a3cc54477b45db3e3c708****"
}
表示在数据订阅任务中,将数据订阅到内置中间件的参数信息。在 EndpointType 取值为 Builtin_Kafka 时,该参数必选。
ExpressMongoSettings
{
"DeployType": "ReplicaSet",
"Endpoints": [
"eee"
],
"MongoAuthSourceDB": "eee",
"Password": "e",
"PrivateNetworkSettings": {
"SubnetId": "subnet-3jh1vsccsmjuo3pncmesj****",
"VPCId": "vpc-30ukbt5glgyyo7r2qr2e6****"
},
"RegionSettings": {
"Region": "cn-chongqing-sdv"
},
"Username": "e"
}
表示接入方式为专有网络 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Express_Mongo时,该参数必选。
ExpressMySQLSettings
{
"Host": "192.168.0.65",
"Password": "******",
"Port": 3306,
"PrivateNetworkSettings": {
"SubnetId": "subnet-2d74b6pbyewao58ozferi****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9*****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "rootgg"
}
表示接入方式为专有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Express_MySQL时,该参数必选。
ExpressPostgreSQLSettings
{
"DBName": "src",
"Host": "192.168.0.65",
"Password": "Bd2021_bd",
"Port": 5432,
"PrivateNetworkSettings": {
"SubnetId": "subnet-2bznv8i16voqo2dx0efg0****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "suser"
}
表示接入方式为专有网络 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Express_PostgreSQL时,该参数必选。
ExpressRedisSettings
{
"ArchType": "Standalone",
"Host": "192.168.32.28",
"Password": "pwd",
"Port": 6399,
"PrivateNetworkSettings": {
"SubnetId": "subnet-3re9nvjumjthc5zsk2i5z****",
"VPCId": "vpc-2bzf04ctm2pz42dx0eebh****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为专有网络 Redis 的源库或目标库的信息,在 EndpointType 取值为 Express_Redis时,该参数必选。
ExpressElasticSearchSettings
{
"Endpoints": [
"http://192.****.0.****:9200"
],
"Password": "123456",
"PrivateNetworkSettings": {
"SubnetId": "subnet-2d6asbw971nnk58ozfeei****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "elastic"
}
表示接入方式为专有网络 ElasticSearch 的源库或目标库信息。在 EndpointType 取值为 Express_ElasticSearch 时,该参数必选。
ExpressKafkaSettings
{
"AuthType": "PLAIN",
"BrokerEndpoints": [
"192.168.0.65:9092"
],
"Password": "admin-secret",
"PrivateNetworkSettings": {
"SubnetId": "subnet-2bz5swar08oao2dx0ee******",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9******"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Topic": "dial_test",
"Username": "admin"
}
表示接入方式为专有网络 Kafka 的源库或目标库信息。在 EndpointType 取值为 Express_Kafka 时,该参数必选。
Name
String
test
数据源的任务名称。在调用 CreateDataSource 接口创建数据源时需要配置该参数。
VolcMySQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
mysql-3d224def****
实例 ID。
说明
  • EndpointType 取值为 Volc_MySQL 时,该参数必选。
DBInstanceName
String
testDB
实例名称。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
RegionSettings
参数
类型
是否必选
示例值
描述
Region
String
cn-beijing
地域 ID。
CrossAccountSettings
参数
类型
是否必选
示例值
描述
SourceAccount
String
2100******
源端账号 ID。
Role
String
test
通过源端账号创建的用于传输数据的角色名称。
VolcveDBMySQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
vedbm-r3xq0zdl****
实例 ID。
说明
  • EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。
DBInstanceName
String
TestveDB
实例名称。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
VolcPostgreSQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
postgres-h441603c68aaa****
实例 ID。
说明
EndpointType 取值为 Volc_PostgreSQL时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
VolcMongoSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
mongo-replica-e405f8e2****
实例 ID。
说明
  • EndpointType 取值为 Volc_Mongo 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
MongoAuthSourceDB
String
ReplicaSet
账号校验数据库,在 EndpointType 取值为 Volc_Mongo 时,该参数默认值为 root
DeployType
String
ShardedCluster
MongoDB 的实例类型。取值如下:
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
VolcElasticSearchSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
ztuc43y38z4w****
实例 ID。
说明
  • EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcKafkaSettings
参数
类型
是否必选
示例值
描述
InstanceId
String
kafka-****
实例 ID。
说明
  • EndpointType 取值为 Volc_Kafka 时,该参数必选。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test****
Kafka 实例使用 PLAIN 模式的用户名称。
Password
String
test****
Kafka 实例使用 PLAIN 模式的用户密码。
Topic
String
my_topic
Kafka 的 Topic 名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcRocketMQSettings
参数
类型
是否必选
示例值
描述
InstanceId
String
MQ_INST_*****
实例 ID。
说明
  • EndpointType 取值为 Volc_RocketMQ 时,该参数必选。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test****
RocketMQ 实例的用户名称。
Password
String
test****
RocketMQ 实例的用户密码。
Topic
String
my_topic
RocketMQ 的 Topic 名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcRedisSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
redis-cn0212gzmh2xs****
实例 ID。
说明
  • EndpointType 取值为 Volc_Redis 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
PublicMySQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
SSLSettings
Object of SSLSettings
{
"EnableSSL": true,
"Cert":"-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----"
}
实例加密信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
SSLSettings
参数
类型
是否必选
示例值
描述
EnableSSL
Boolean
false
是否开启 SSL 加密连接方式。取值如下:
  • true:表示开启 SSL 加密。
  • false:表示不开启 SSL 加密。
Cert
String
-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----
CA 证书内容。
说明
EnableSSL 取值为 true时,该参数必选。
PublicPostgreSQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
PublicMongoSettings
参数
类型
是否必选
示例值
描述
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
DeployType
String
Standalone
MongoDB 实例的类型。取值如下:
  • Standalone:表示单节点。
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
Endpoints
Array of String
192.168.***.***:4
mongos 地址,格式为 host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
mongos 数据库账号。
Password
String
test****
mongos 的数据库密码。
MongoAuthSourceDB
String
admin
mongos 的账号校验数据库名称。
Shards
Array of MongoShardSetting
{
"Address": "192.168.0.1:27019,192.168.0.1:27020",
"Username": "test****",
"Password": "test****",
"AuthDb": "admin"
}
分片地址信息。
说明
作为返回参数时,则不返回该参数的相关信息。
UseNewShardingDatasource
Boolean
true
是否选择使用新版分片接入方式,取值如下:
  • false:表示不使用新版分片接入方式。
  • true:表示使用新版分片接入方式。部署类型为分片集场景时为默认值。
MongoShardSetting
参数
类型
是否必选
示例值
描述
Address
String
192.168.0.1:27019,192.168.0.1:27020
分片地址,例如 IP:端口域名:端口。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
AuthDb
String
admin
账号校验数据库。
PublicElasticSearchSettings
参数
类型
是否必选
示例值
描述
Endpoints
Array of String
192.168.***.***
自建实例主机地址。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
PublicRedisSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
BuiltinKafkaSettings
参数
类型
是否必选
示例值
描述
Brokers
Array of String
[
"100.67.158.158:9092",
"100.67.158.158:9192",
"100.67.158.158:9292",
"100.67.158.158:9392",
"100.67.158.158:9492"
]
Broker 的 IP 地址及端口号,格式为 host:port
Topic
String
6f2fd63c0ea947b280877f5d2a******
Kafka 的 Topic ID。
ExpressMongoSettings
参数
类型
是否必选
示例值
描述
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
DeployType
String
ShardedCluster
实例的实例类型。取值如下:
  • Standalone:表示单节点。
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
Endpoints
Array of String
192.168.***.***:4
mongos 地址,格式为 host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
mongos 数据库账号。
Password
String
test****
mongos 的数据库密码。
MongoAuthSourceDB
String
admin
mongos 的账号校验数据库名称。
Shards
Array of MongoShardSetting
{
"Address": "192.168.0.1:27019,192.168.0.1:27020",
"Username": "test****",
"Password": "test****",
"AuthDb": "admin"
}
分片地址信息。
说明
作为返回参数时,则不返回该参数的相关信息。
UseNewShardingDatasource
Boolean
true
是否选择使用新版分片接入方式,取值如下:
  • false:表示不使用新版分片接入方式。
  • true:表示使用新版分片接入方式。部署类型为分片集场景时为默认值。
PrivateNetworkSettings
参数
类型
是否必选
示例值
描述
VPCId
String
vpc-bp1opxu1zkhn00gz****
私有网络 ID。根据专有网络的连接方式,私有网络 ID 取值如下所示:
  • 专线连接:通过专线 CEN 实现数据连通时,设置 CEN 所属的任意私有网络的 ID。
  • VPN 连接:通过 VPN 实现数据连通时,设置 VPN 网关绑定的私有网络的 ID。
SubnetId
String
subnet-bpkdt37pq72zv****
私有网络 ID 内的子网 ID。
说明
子网网段需加入到目标数据库对应的白名单或安全组规则中。
ExpressMySQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
专有网络 MySQL 实例的主机地址。
Port
Integer
4
专有网络 MySQL 实例的端口。
Username
String
test***
专有网络 MySQL 实例的数据库账号。
Password
String
Admin@***
专有网络 MySQL 实例的数据库账号密码。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExpressPostgreSQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
专有网络 PostgreSQL 实例的主机地址。
Port
Integer
4
专有网络 PostgreSQL 实例的端口。
Username
String
test***
专有网络 PostgreSQL 实例的数据库账号。
Password
String
Admin@***
专有网络 PostgreSQL 实例的数据库账号密码。
DBName
String
test****
数据库名称。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExpressRedisSettings
参数
类型
是否必选
示例值
描述
ArchType
String
Standalone
架构类型,取值如下:
  • Standalone:单机版。
  • Cluster:集群版。
说明
如果专有网络 Redis 实例的集群有 Proxy 服务,那么 ArchType 需要设置为 Standalone
Host
String
192.168.***.***
专有网络 Redis 实例实例的主机地址。
说明
当参数 ArchType 设置为 Standalone时,需设置该参数。
Port
Integer
4
专有网络 Redis 实例的端口。
说明
当参数 ArchType 设置为 Standalone时,需设置该参数。
Endpoints
Array of String
10.10.10.10:3717
请输入专线打通的私有网络内 Redis 集群各分片主节点的 IP:端口,以英文逗号分隔,例如:ip1:port1,ip2:port2,ip3:port3
说明
当参数 ArchType 设置为 Cluster时,需设置该参数。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
Username
String
test***
专有网络 Redis 实例的数据库账号。
Password
String
Admin@***
专有网络 Redis 实例的数据库账号密码。
说明
当参数 ArchType 设置为 Cluster时,多个分片的密码需一致,否则无法成功连接。
ExpressElasticSearchSettings
参数
类型
是否必选
示例值
描述
Endpoints
Array of String
[192.168.***.***]
专有网络 ElasticSearch 实例的主机地址。
Username
String
test***
专有网络 ElasticSearch 实例的数据库账号。
Password
String
Admin@***
专有网络 ElasticSearch 实例的数据库账号密码。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExpressKafkaSettings
参数
类型
是否必选
示例值
描述
BrokerEndpoints
Array of String
[10.1.***.***:9093]
专有网络 Kafka 实例 Broker 的 IP 地址及端口号,格式为 host1:port1。当存在多个 Broker 时,需使用英文逗号(,)隔开。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test***
专有网络 Kafka 实例的数据库账号。
Password
String
Admin@***
专有网络 Kafka 实例的数据库账号密码。
Topic
String
dts_sydtest
专有网络 Kafka 实例的 Topic 信息。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
SolutionSettings
参数
类型
是否必选
示例值
描述
SolutionType
String
MySQL2MySQL
任务类型。取值如下:
  • MySQL2MySQL:表示 MySQL 至 MySQL 的迁移或同步任务。
  • MySQL2ES:表示 MySQL 至 ElasticSearch 的同步任务。
  • MySQL2Kafka:表示 MySQL 至 Kafka 订阅任务。
  • MySQL2RocketMQ:表示 MySQL 至 RocketMQ 的订阅任务。
  • PG2PG:表示 PostgreSQL 至 PostgreSQL 迁移或同步任务。
  • PG2Kafka:表示 PostgreSQL 至 Kafka 的订阅任务。
  • PG2RocketMQ:表示 PostgreSQL 至 RocketMQ 的订阅任务。
  • Mongo2Mongo:表示 MongoDB 至 MongoDB 的迁移或同步任务。
  • Redis2Redis:表示 Redis 至 Redis 的迁移或同步任务。
  • MySQL2MySQLMigrationAssessment:表示 MySQL 至 MySQL 的迁移评估任务。
  • MySQL2MySQLDataValidation:表示 MySQL 至 MySQL 的校验任务。
  • PG2PGDataValidation:表示 PostgreSQL 至 PostgreSQL 的校验任务。
  • Mongo2MongoDataValidation:表示 MongoDB 至 MongoDB 的校验任务。
  • Mongo2RocketMQ:表示 MongoDB 至 RocketMQ 的迁移或同步任务。
  • Redis2RocketMQ:表示 Reidis 至 RocketMQ 的迁移或同步任务。
  • MSSQL2MSSQL:表示 SQL Server 至 SQL Server 的迁移任务。
  • MySQL2MySQLRowCompare:表示 MySQL 至 MySQL 的全量校验任务。
  • MySQL2MySQLIncrDataValidation:表示 MySQL 至 MySQL 的增量校验任务。
  • MySQL2MySQLRowCountCompare:表示 MySQL 至 MySQL 的行数校验任务。
  • MySQL2MySQLMetaCompare:表示 MySQL 至 MySQL 的结构校验任务。
  • PG2PGRowCompare:表示 PostgreSQL 至 PostgreSQL 的全量数校验任务。
  • Mongo2MongoRowCompare:表示 MongoDB 至 MongoDB 的全量数校验任务。
  • Mongo2MongoPkCompare:表示 MongoDB 至 MongoDB 的主键校验任务。
  • Mongo2MongoIncrDataValidation:表示 MongoDB 至 MongoDB 的增量校验任务。
  • Mongo2MongoRowCountCompare:表示 MongoDB 至 MongoDB 的行数校验任务。
  • Redis2RedisRowCompare:表示 Reidis 至 Redis 的全量校验任务。
  • MSSQL2MSSQLRowCompare:表示 SQL Server 至 SQL Server 的全量校验任务。
  • MSSQL2MSSQLRowCountCompare:表示 SQL Server 至 SQL Server 的行数校验任务。
  • Milvus2Milvus:表示 Milvus 至 Milvus 的迁移或同步任务。
AutoStart
Boolean
false
任务创建成功后是否自动启动任务。取值如下:
  • true:表示自动启动任务。
  • false:(默认值)表示不自动启动任务,需手动启动。
MySQL2MySQLSettings
Object of MySQL2MySQLSettings
{
"ETLSettings": {
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
},
"EnableForeignKeyChecks": false,
"EnableFullIncr": true,
"EnableFullTrxPartitionByChunk": false,
"EnableTriggerPreMigration": false,
"EnableTrxRewrite": false,
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true,
"Snapshot": false
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLInsert",
"StmtDMLUpdate"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Incr",
"Full"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Table",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "View",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Function",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Procedure",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Trigger",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
],
"PolicyForPrimaryKeyConflict": "Override"
}
SolutionType 取值为 MySQL2MySQL 时,实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置,该参数必选。
MySQL2ESSettings
Object of MySQL2ESSettings
{
"ESExtraArgs": {
"Analyzer": "",
"CustomIndexType": "",
"IdxNameRule": "DBAndTable",
"InsertMode": "<UNSET>",
"ReplicaNum": 1,
"RetryTimes": 0,
"ShardNum": 5,
"TZ": ""
},
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDMLDelete",
"StmtDMLInsert",
"StmtDMLUpdate"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "testdb_bak",
"MappingList": [
{
"DestObjName": "testdb_bak_auth_operation",
"ObjectMappingSetting": {
"ESMetaMappingSetting": {
"EnableRouting": false,
"TypeName": ""
},
"LastWriteWinsKey": "",
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Table",
"SrcObjName": "auth_operation"
}
],
"ObjectType": "Database",
"SrcObjName": "testdb_bak"
}
],
"PolicyForPrimaryKeyConflict": "Override"
}
SolutionType 取值为 MySQL2ES 时,实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 的目标实例的参数配置,该参数必选。
MySQL2KafkaSettings
Object of MySQL2KafkaSettings
{
"ETLSettings": {
"Script": ""
},
"EnableFullIncr": true,
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDMLInsert",
"StmtDMLUpdate",
"StmtDMLDelete",
"StmtDDLAll"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "auth_operation",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Incr",
"Full"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": true
},
"ObjectType": "Table",
"SrcObjName": "auth_operation"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Full",
"Incr",
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "huahua"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 MySQL2Kafka 时,实例类型为 MySQL 的源实例订阅到 Kafka 的参数配置,该参数必选。
MySQL2RocketMQSettings
{
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "database1",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "database1"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 MySQL2RocketMQ 时,实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。
PG2PGSettings
Object of PG2PGSettings
{
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Table",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "View",
"SrcObjName": "2",
"DestObjName": "2"
},
{
"ObjectType": "PostSequence",
"SrcObjName": "3",
"DestObjName": "3"
}
],
"MetaTransmissionSettings": {
"EnableMeta": "true"
},
"FullTransmissionSettings": {
"EnableMeta": "true"
},
"IncrTransmissionSettings": {
"EnableMeta": "true"
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
}
}
SolutionType 取值为 PG2PG 时,实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 的目标实例的参数配置,该参数必选。
PG2KafkaSettings
Object of PG2KafkaSettings
{
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": false
},
"IncrTransmissionSettings": {
"EnableIncr": true
},
"MetaTransmissionSettings": {
"EnableMeta": false
},
"ObjectMappings": [
{
"DestObjName": "public",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "public"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "vpc-3ez4xswg5j94w72200ry****",
"VPCSubnetId": "subnet-3ez4xts0nc4qo72200r******"
}
}
SolutionType 取值为 PG2Kafka 时,实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,该参数必选。
PG2RocketMQSettings
Object of PG2RocketMQSettings
{
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": false
},
"IncrTransmissionSettings": {
"EnableIncr": true
},
"MetaTransmissionSettings": {
"EnableMeta": false
},
"ObjectMappings": [
{
"DestObjName": "public",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "public"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 PG2RocketMQ 时,实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。
Mongo2MongoSettings
Object of Mongo2MongoSettings
{
"TaskName": "test",
"TrafficSpec": "Standard",
"ProjectName": "default",
"Tags": [
],
"CreateBackwardSyncTask": false,
"ChargeConfig": {
"ChargeType": "PostPaid",
"Times": 1
},
"SrcConfig": {
"EndpointType": "Public_Mongo",
"PublicMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "Oplog",
"Endpoints": [
"192.168..***.***:27***"
],
"MongoAuthSourceDB": "admin",
"Username": "root",
"Password": "admin",
"Shards": [
{
"Username": "root",
"Password": "admin",
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin"
},
{
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin",
"Username": "root",
"Password": "admin"
}
],
"UseNewShardingDatasource": true
}
},
"DestConfig": {
"EndpointType": "Volc_Mongo",
"VolcMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "None",
"DBInstanceId": "mongo-shard-××××××××",
"Username": "root",
"Password": "admin",
"UseNewShardingDatasource": true
}
},
"SolutionSettings": {
"SolutionType": "Mongo2Mongo",
"Mongo2MongoSettings": {
"TaskRunType": [
"Incr",
"Full",
"Meta"
],
"PolicyForMongoPrimaryKeyConflict": "Override",
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "test",
"DestObjName": "test",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"FullSyncParalell": 8,
"EnableFull": true
},
"AccountTransmissionSettings": {
"EnableAccount": false
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"IncrTransmissionSettings": {
"EnableIncr": true
}
}
},
"TaskType": "DataSynchronization"
}
SolutionType 取值为 Mongo2Mongo 时,实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 的目标实例的参数配置,该参数必选。
Redis2RedisSettings
Object of Redis2RedisSettings
{
"TaskName": "rudonxxxxx-1",
"TaskType": "DataMigration",
"TrafficSpec": "Compact",
"ProjectName": "default",
"Tags": [
{
"Key": "key1",
"Value": "value1"
}
],
"SrcConfig": {
"EndpointType": "Public_Redis",
"PublicRedisSettings": {
"Host": "192.168.***.***",
"Port": 4,
"Username": "test****",
"Password": "test****",
"DBName": "test****",
"RegionSettings": {
"Region": "cn-beijing"
}
}
},
"DestConfig": {
"EndpointType": "Volc_Redis",
"VolcRedisSettings": {
"RegionSettings": {
"Region": "cn-beijing"
},
"DBInstanceId": "redis-cnlfe66ipof9y86qz",
"Username": "default",
"Password": "ASDFasdf@2020"
}
},
"SolutionSettings": {
"SolutionType": "Redis2Redis",
"Redis2RedisSettings": {
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Database",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "Database",
"SrcObjName": "2",
"DestObjName": "2"
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
}
}
},
"ChargeConfig": {
"ChargeType": "PostPaid"
}
}
SolutionType 取值为 Redis2Redis 时,实例类型为 Redis 的源实例迁移至实例类型为 Redis 的目标实例的参数配置,该参数必选。
MySQL2MySQLSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
EnableForeignKeyChecks
Boolean
false
按需选择是否开启外键检查,开启外键检查后,支持迁移源库的外键级联更新、删除等操作,从而保证数据迁移的完整性和一致性。取值如下:
  • true:表示开启外键检查。
  • false:(默认值)表示不开启外键检查。
说明
TaskType 取值为 DataMigration时支持配置此参数。
AccountTransmissionSettings
{
"EnableAccount": true
}
将源库中指定的非系统账号及账号所拥有的权限迁移到目标库。
说明
TaskType 取值为 DataMigrationDataSynchronization时支持配置此参数。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset":"f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp":1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • TaskType 取值为 DataSynchronization ,进行全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
PolicyForPrimaryKeyConflict
String
Override
主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。
  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。
  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。
说明
在取值为 Ignore时,可能会导致数据不一致,给业务带来风险,请谨慎选择。
AccountMapping
Array of AccountMapping
{
"Account": "test****",
"ResetPassword": "true",
"Password": "*Test****"
}
待迁移的数据库账号信息。
说明
TaskType 取值为 DataMigrationDataSynchronization时支持配置此参数。
EnableTrxRewrite
Boolean
true
选择是否在传输数据时进行事务合并。开启事务合并是一种优化传输任务的方法,通过合并多个单独事务提高传输任务的整体效率和性能,并确保数据一致性。当数据传输频繁且数据量较大时,开启事务合并可以提高数据传输的效率。
  • true:表示开启事务合并。
  • false:(默认值)表示不开启事务合并。
ObjectMapping
参数
类型
是否必选
示例值
描述
ObjectType
String
Function
对象类型。取值如下:
  • Database:表示数据库。
  • Table:表示表格。
  • View:表示视图。
  • Column:表示列。
  • Function:表示函数。
  • Procedure:表示程序。
  • Trigger:表示触发器。
  • Type:表示类型。
  • Domain:表示域名。
  • Sequence:表示序列。
  • Rule:表示规则。
  • Operator:表示操作符。
  • Aggregate:表示聚合。
  • Extension:表示扩展。
  • Constraint:表示约束。
  • PostSequence:表示 PostgreSQL 的序列。
  • Schema:表示模式。
  • Event:表示事件。
  • DomainConstraint:表示域约束。
SrcObjName
String
ceshi****
源端对象名称。
DestObjName
String
test****
目标端对象名称。
MappingList
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
传输任务对象。
ObjectMappingSetting
{
"ESMetaMappingSetting": {
"PidCol": [
"id",
"name"
],
"EnableRouting": true,
"RoutingCol": [
"id"
]
}
}
在数据同步至 ElasticSearch 时,需配置的其他参数信息。
ObjectMappingSetting
参数
类型
是否必选
示例值
描述
ESMetaMappingSetting
{
"PidCol": [
"id",
"name"
],
"EnableRouting": true,
"RoutingCol": [
"id"
]
}
ElasticSearch 的结构映射参数。
ESMetaMappingSetting
参数
类型
是否必选
示例值
描述
PidCol
Array of String
["id", "name"]
主键(_id)取值。当不设置此参数时,默认为主键的列。
EnableRouting
Boolean
EnableRouting
是否启用 Routing,取值如下:
  • true:表示启用 Routing。
  • false:表示不启用 Routing。
RoutingCol
Array of String
["id"]
_routing 的取值。当 EnableRouting 取值为 true 时,该参数必选。
AccountTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableAccount
Boolean
false
是否开启用户迁移。取值如下:
  • true:表示开启。
  • false:表示不开启。
MetaTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableMeta
Boolean
true
是否开启库表结构迁移或订阅。取值如下:
  • true:表示开启。
  • false:表示不开启。
DisablePostMeta
Boolean
true
当 PostgreSQL 数据库迁移/同步类型中选择结构迁移/结构初始化时,DTS 会自动在增量迁移/同步结束后迁移/同步后置结构,您也可以选择跳过后置结构迁移/同步,即 DTS 不迁移/同步后置结构。
PostgreSQL 数据库后置结构/同步迁移对象包括普通触发器、事件触发器、RULE、互斥约束、外键约束、检查约束、Domain 约束、设置 Sequence 值。
是否跳过 PostgreSQL 后置结构迁移或后置结构同步。取值如下:
  • true:表示跳过 PostgreSQL 后置结构迁移或后置结构同步。
  • false:表示不跳过 PostgreSQL 后置结构迁移或后置结构同步。
FullTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableFull
Boolean
true
是否开启全量迁移、全量订阅或全量初始化。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
Snapshot
Boolean
true
是否开启全量一致性迁移。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
ExtraConditions
Array of FullExtraCondition
{
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
全量过滤条件。
RPSLimit
Integer
100000
每秒迁移或同步的行数,取值范围为 1~100000,默认值为 100000。
BPSLimit
Integer
25000
每秒迁移或同步的数据量,取值范围 1~25000,单位 KB,默认值为 25000。
FullSyncParalell
Integer
8
迁移或同步任务的并发数。默认值 8,取值范围 1~64。
FullExtraCondition
参数
类型
是否必选
示例值
描述
Db
String
TestName
需要过滤的数据库名称。
Table
String
TableName
需要过滤的表格名称。
WhereSql
String
id = 5
过滤的 SQL 语句。
IncrTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableIncr
Boolean
true
是否开启增量迁移、增量订阅或增量同步。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
Statements
Array of String
[
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
需要传输的操作语句。取值如下:
  • StmtDMLInsert
  • StmtDMLUpdate
  • StmtDMLDelete
  • StmtDDLAll
  • StmtDDLAlterTable
  • StmtDDLAlterView
  • StmtDDLCreateFunction
  • StmtDDLCreateIndex
  • StmtDDLCreateProcedure
  • StmtDDLCreateTable
  • StmtDDLCreateView
  • StmtDDLDropIndex
  • StmtDDLDropTable
  • StmtDDLDropFunction
  • StmtDDLDropProcedure
  • StmtDDLTruncateTable
  • StmtDDLRenameTable
  • StmtDDLDropView
ETLSettings
参数
类型
是否必选
示例值
描述
Script
String
(defn desensitization []
(dts/match-table "user" (dts/map-column 'id_card str/md5)))
流式数据 ETL 的脚本。关于脚本依赖的语法信息,请参见 DSL 语法
ErrorBehaviorSettings
参数
类型
是否必选
示例值
描述
MaxRetrySeconds
Integer
600
最大错误重试时间。取值范围:600~86400,单位:秒(s)。默认值为 600 秒。
MySQLPosition
参数
类型
是否必选
示例值
描述
Gtid
String
3e11fa47-71ca-11e1-9e33-c80aa9429562:58
表示从指定的 GTID 开始拉取 Binlog 日志,格式为 source_id:transaction_id
Gset
String
f76eb90f-82a2-11e5-a162-7ca23e9126c5:3
表示从指定的 GTID_EXECUTED 开始拉取 Binlog 日志,格式为 source_id:transaction_id,当存在多个时,可使用英文逗号(,)隔开。
说明
关于如何获取实例的 GTID_EXECUTED,请参见如何获取实例的 GTID_EXECUTED
Timestamp
Long
1679642652
表示从指定的时间戳开始拉取 Binlog 日志。
AccountMapping
参数
类型
是否必选
示例值
描述
Account
String
test****
待迁移的账号名称。
ResetPassword
Boolean
true
是否重置密码,取值如下:
  • true:表示重置新密码。
  • false:表示不重置新密码。默认值。
Password
String
*Test****
待迁移账号的新密码。
MySQL2ESSettings
参数
类型
是否必选
示例值
描述
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "huahua"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
流式数据 ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
ESExtraArgs
Object of ESExtraArgs
{
"IdxNameRule": "Table",
"ShardNum": 3,
"ReplicaNum": 1,
"TZ": "UTC +08:00",
"RetryTimes": 600,
"Analyzer": "standard",
"InsertMode": "Replace"
}
在同步至 Elasticsearch 时的参数信息。
PolicyForPrimaryKeyConflict
String
ThrowError
主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。
  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。
  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。
说明
在取值为 Ignore时,可能会导致数据不一致,给业务带来风险,请谨慎选择。
ESExtraArgs
参数
类型
是否必选
示例值
描述
IdxNameRule
String
Table
索引拼接规则。
  • Table:表示使用表名拼接方式。
  • DBAndTable:表示使用库名+表名的拼接方式。
ShardNum
Long
3
分片数。
ReplicaNum
Long
1
副本数。
TZ
String
UTC +08:00
时区。支持 UTC -12:00 ~ +13:00。默认值为 Region 所在的 TimeZone。
RetryTimes
Long
7200
错误重试时间。
Analyzer
String
standard
支持的分词器。
InsertMode
String
Replace
源端的插入操作,取值如下:
  • Replace:表示在目标端不存在对应索引时,则插入一条新数据,在目标端存在对应索引时,则更新对应的索引。
  • Update:表示在目标端不存在对应索引时,则跳过。在目标端存在对应索引时,则更新对应数据。
MySQL2KafkaSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": false,
"SubscribePartBeforeImage": false
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset": "f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp": 1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • 全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
SubscriptionSettings
参数
类型
是否必选
示例值
描述
Protocol
String
Volc
数据订阅格式。取值如下:
  • Volc:表示火山引擎 Proto。
  • Canal:表示 Canal Proto。
  • CanalJSON:表示 Canal JSON。
  • Avro:表示 Avro 格式。
  • DebeziumJSON:表示 Debezium JSON 格式。
说明
关于订阅格式的详细信息,请参见数据订阅格式
Protocol取值为 DebeziumJSON 时,ProgressType 不支持设置为 Meta
PartitionPolicy
String
P0
Topic 的 Partition 接收策略。取值如下:
  • P0:表示统一投递至 Partition 0。
  • Table:表示按照库名和表名的联合 hash 值投递到不同 Partition。
  • Key:表示按主键的 hash 值投递到不同 Partition。
说明
TaskType 取值为 DataSubscription,且 EndpointType 取值为 Volc_Kafka时,支持此配置。
VPCId
String
vpc-bp1opxu1zkhn00gz****
私有网络 ID。
VPCSubnetId
String
AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j****
私有网络 ID 内的子网 ID。
说明
私有网络内的子网至少要包含 1 个可用 IP。
EnableBeginCommitMessage
Boolean
false
按需设置是否按照事务维度进行订阅消息,从而确保消息的一致性和完整性。取值如下:
  • true:表示订阅 Begin/Commit 消息。
  • false:(默认值)表示不订阅 Begin/Commit 消息。
说明
需要同时满足以下条件时,才支持配置该参数:
  • Protocol 选择VolcCanalCanalJSONAvro
  • EndpointType 选择 Builtin_KafkaEndpointType 选择 Volc_KafkaExpress_Kafka
  • EndpointType 选择 Volc_KafkaExpress_Kafka 时,且 PartitionPolicy 需选择 P0
SubscribePartBeforeImage
Boolean
true
按需设置是否订阅所有字段。取值如下:
  • true:(默认值)表示订阅所有字段的前镜像。
  • false:表示仅订阅变更字段的前镜像。
说明
只有当实例类型 MySQL,中间件接入方式为消息队列 Kafka 版专有网络 Kafka,且订阅格式选择 Canal JSON 时,才支持配置该参数。
MySQL2RocketMQSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
流式数据 ETL 的参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset": "f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp": 1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • 全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
PG2PGSettings
参数
类型
是否必选
示例值
描述
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "huahua"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
PG2KafkaSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
PG2RocketMQSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
Mongo2MongoSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
Redis2RedisSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
返回参数
null
示例
请求示例
POST /?Action=ModifyValidationTask&Version=2022-10-01 HTTP/1.1
Content-Type: application/json
Host:dts.cn-beijing.volcengineapi.com
X-Date: 20221001T101010Z
Authorization: HMAC-SHA256 Credential=AKLTN2I0MmFiNzMxNWE5NDgzMzk4MmVjMTVkODlkZTZ****/20221001/cn-beijing/dts/request,SignedHeaders=x-date, Signature=71d31fc7bcf990142851c9833c5656391486cda0ae2e0b8ada733b7c645****
{
"SolutionSettings": {
"SolutionType": "MySQL2MySQLRowCompare",
"MySQL2MySQLRowCompareSettings": {
"SampleRate": 96,
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "dts_vedb_644309674613",
"DestObjName": "dts_vedb_644309674613",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
]
}
},
"TaskId": "446a68e0a68841d28e3497be1d******"
}
返回示例
{
"ResponseMetadata": {
"RequestId": "20241212200030CB6043C2633C8BE05A15-b56f1e",
"Action": "ModifyValidationTask",
"Version": "2022-10-01",
"Service": "dts",
"Region": "cn-beijing"
},
"Result": {}
}
错误码
更多详情,请参见错误码
最近更新时间:2026.02.03 15:17:45
这个页面对您有帮助吗?
有用
有用
无用
无用