You need to enable JavaScript to run this app.
文档中心
数据库传输服务

数据库传输服务

复制全文
下载 pdf
数据传输
CreateTransmissionTask
复制全文
下载 pdf
CreateTransmissionTask
调用 CreateTransmissionTask 接口创建数据库传输服务任务。
请求类型
同步请求。
请求参数
参数
类型
是否必选
示例值
描述
TaskName
String
Test****
任务名称。长度需在 256 个字符内。
说明
若未进行设置,系统将默认生成一个以 dts-开头命名的任务。
TaskType
String
DataMigration
任务类型。取值如下:
  • DataMigration:表示创建数据迁移任务。
  • DataSubscription:表示创建数据订阅任务。
  • DataSynchronization:表示创建数据同步任务。
  • MigrationAssessment:表示创建迁移评估任务。
说明
目前仅支持创建公有网络 MySQL 或专有网络 MySQL 至火山引擎版 MySQL 的数据迁移评估任务。
SrcConfig
Object of DataSource
{
"Category": "MySQL",
"CreateTime": 1769672325124,
"DataSourceId": "2016759699713855503",
"EndpointType": "Volc_MySQL",
"ModifyTime": 1769672880664,
"VolcMySQLSettings": {
"DBInstanceId": "mysql-36632f******",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
}
源库信息。
DestConfig
Object of DataSource
{
"Category": "MySQL",
"CreateTime": 1769672325127,
"DataSourceId": "2016759699713855504",
"EndpointType": "Volc_MySQL",
"ModifyTime": 1769672881696,
"VolcMySQLSettings": {
"DBInstanceId": "mysql-8a6d98******",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
}
目标库信息。
SolutionSettings
Object of SolutionSettings
{
"MySQL2MySQLSettings": {
"ETLSettings": {
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
},
"EnableForeignKeyChecks": false,
"EnableFullIncr": true,
"EnableFullTrxPartitionByChunk": false,
"EnableTriggerPreMigration": false,
"EnableTrxRewrite": false,
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true,
"Snapshot": false
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLInsert",
"StmtDMLUpdate"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Incr",
"Full"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Table",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "View",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Function",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Procedure",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Trigger",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
],
"PolicyForPrimaryKeyConflict": "Override"
},
"SolutionType": "MySQL2MySQL"
}
迁移、订阅、同步或评估任务对象的配置信息。
TrafficSpec
String
Compact
任务链路规格。支持 CompactStandard 取值。关于链路规格的详细信息,请参见产品规格
ChargeConfig
Object of ChargeConfig
{
"ChargeType": "PostPaid",
"DestRegion": "cn-shanghai",
"DestType": "Volc_MySQL",
"EnableV2": true,
"IsBidirectional": false,
"SrcRegion": "cn-shanghai",
"SrcType": "Volc_MySQL",
"TaskType": "DataSynchronization",
"TrafficSpec": "Standard"
}
计费配置。
ProjectName
String
default
项目名称。
说明
您可以调用 GetProject接口创建项目。
CreateBackwardSyncTask
Boolean
false
是否创建反向同步任务。取值如下:
  • true:表示创建反向同步任务。
  • false:表示不创建反向同步任务,默认值。
Tags
Array of TagObject
{
"Key": "key1",
"Value": "value1"
}
标签信息。
说明
支持一次传入多组标签键值对像,多组标签键值对像间用英文逗号(,)分隔。最多同时传入 20 组标签键值对。单个任务最多可绑定 50 个键值。
DataSource
参数
类型
是否必选
示例值
描述
Category
String
MySQL
实例的类型,取值如下:
  • MySQL:表示实例类型为 MySQL。
  • PostgreSQL:表示实例类型为 PostgreSQL。
  • ElasticSearch:表示实例类型为 ElasticSearch。
  • MongoDB:表示实例类型为 MongoDB。
  • Redis:表示实例类型为 Redis。
CreateTime
Long
1734070854504
数据源的创建时间。毫秒时间戳。
DataSourceId
String
1867454442941460510
源端或目标端实例 ID。
ModifyTime
Long
1734070873088
最近一次更新数据源的时间。毫秒时间戳。
EndpointType
String
Volc_MySQL
实例的接入方式,取值如下:
  • Volc_MySQL:表示火山引擎版 MySQL。
  • Volc_veDB_MySQL:表示火山引擎版 veDB MySQL。
  • Volc_PostgreSQL:表示火山引擎版 PostgreSQL。
  • Volc_Mongo:表示火山引擎版 MongoDB。
  • Volc_ElasticSearch:表示火山引擎版 ElasticSearch。
  • Volc_Kafka:表示消息队列 Kafka 版。
  • Volc_RocketMQ:表示消息队列 RocketMQ 版。
  • Volc_Redis:表示火山引擎版 Redis。
  • Public_MySQL:表示公有网络 MySQL。
  • Public_PostgreSQL:表示公有网络 PostgreSQL。
  • Public_Mongo:表示公有网络 MongoDB。
  • Public_ElasticSearch:表示公有网络 ElasticSearch。
  • Public_Redis:表示公有网络 Redis。
  • Builtin_Kafka:表示内置中间件。
  • Express_MySQL:表示专有网络 MySQL。
  • Express_PostgreSQL:表示专有网络 PostgreSQL。
  • Express_Mongo:表示专有网络 MongoDB。
  • Express_Redis:表示专有网络 Redis。
  • Express_Kafka:表示专有网络 Kafka。
  • Express_ElasticSearch:表示专有网络 ElasticSearch。
  • Volc_AIDapPG:表示 EndpointVolcAIDapPG。
  • Volc_Milvus:表示火山引擎版 Milvus。
  • Public_Milvus:表示公网自建 Milvus。
  • Express_Milvus:表示专有网络 Milvus。
VolcMySQLSettings
Object of VolcMySQLSettings
{
"DBInstanceId": "mysql-0b5d385f*****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "huahua"
}
表示接入方式为火山引擎版 MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_MySQL 时,该参数必选。
VolcveDBMySQLSettings
{
"DBInstanceId": "vedbm-arjlc5di****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "root"
}
表示接入方式为火山引擎版 veDB MySQL 的源库或目标库信息。在 EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。
VolcPostgreSQLSettings
{
"DBInstanceId": "postgres-5d17bd5c****",
"DBInstanceName": "",
"DBName": "huahua",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Username": "huahua"
}
表示接入方式为火山引擎版 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Volc_PostgreSQL 时,该参数必选。
VolcMongoSettings
Object of VolcMongoSettings
{
"DBInstanceId": "mongo-replica-8ea79132****",
"DBInstanceName": "",
"DeployType": "ReplicaSet",
"MongoAuthSourceDB": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Username": "root"
}
表示接入方式为火山引擎版 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Volc_Mongo 时,该参数必选。
VolcElasticSearchSettings
{
"DBInstanceId": "o-00g0sqi*****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-shanghai"
},
"Username": "admin"
}
表示接入方式为火山引擎版 ElasticSearch 的目标库的信息。在 EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。
VolcKafkaSettings
Object of VolcKafkaSettings
{
"AuthType": "PLAIN",
"InstanceId": "kafka-cnnge0tckudy****",
"InstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Topic": "huahua",
"Username": "huahua"
}
表示接入方式为火山引擎版 Kafka 的目标库的信息。在 EndpointType 取值为 Volc_Kafka 时,该参数必选。
VolcRocketMQSettings
{
"AuthType": "PLAIN",
"InstanceId": "rocketmq-cnou964d1e******",
"InstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Topic": "zaizai",
"Username": "uSmQgOHNTy5Uh98nqBGPvCzK"
}
表示接入方式为火山引擎版 RocketMQ 的目标库的信息。在 EndpointType 取值为 Volc_RocketMQ 时,该参数必选。
VolcRedisSettings
Object of VolcRedisSettings
{
"DBInstanceId": "redis-cnlf1xx7vjjw9****",
"DBInstanceName": "",
"Password": "******",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为火山引擎版 Redis 的目标库的信息。在 EndpointType 取值为 Volc_Redis 时,该参数必选。
PublicMySQLSettings
Object of PublicMySQLSettings
{
"Host": "rm-2zey7i58n36x0****.mysql.rds.aliyuncs.com",
"Password": "******",
"Port": 3306,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "rootgg"
}
表示接入方式为公有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Public_MySQL 时,该参数必选。
PublicPostgreSQLSettings
{
"DBName": "postgres",
"Host": "aurora-pg-17-replica-instance-1.czenkuaf0oxm.ap-southeast-2.rds.amazonaws.com",
"Password": "******",
"Port": 5432,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "dts"
}
表示接入方式为公有网络 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Public_PostgreSQL 时,该参数必选。
PublicMongoSettings
Object of PublicMongoSettings
{
"DeployType": "Standalone",
"Endpoints": [
"123"
],
"MongoAuthSourceDB": "123",
"Password": "123",
"RegionSettings": {
"Region": "cn-chongqing-sdv"
},
"Username": "123"
}
表示接入方式为公网自建 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Public_Mongo 时,该参数必选。
PublicElasticSearchSettings
{
"Endpoints": [
"********"
],
"Password": "dddd",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "ddd"
}
表示接入方式为公有网络 ElasticSearch 的源库或目标库的信息。在 EndpointType 取值为 Public_ElasticSearch 时,该参数必选。
PublicRedisSettings
Object of PublicRedisSettings
{
"Host": "redis-sy013ku146******.redis.inner.ivolces.com",
"Password": "******",
"Port": 6379,
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为公有网络 Redis 的源库或目标库的信息。在 EndpointType 取值为 Public_Redis 时,该参数必选。
BuiltinKafkaSettings
{
"Brokers": [
"192.168.2.5:9092",
"192.168.2.5:9192",
"192.168.2.5:9292",
"192.168.2.5:9392",
"192.168.2.5:9492",
"192.168.2.5:9592"
],
"Topic": "123e8d8a3cc54477b45db3e3c708****"
}
表示在数据订阅任务中,将数据订阅到内置中间件的参数信息。在 EndpointType 取值为 Builtin_Kafka 时,该参数必选。
ExpressMongoSettings
{
"DeployType": "ReplicaSet",
"Endpoints": [
"eee"
],
"MongoAuthSourceDB": "eee",
"Password": "e",
"PrivateNetworkSettings": {
"SubnetId": "subnet-3jh1vsccsmjuo3pncmesj****",
"VPCId": "vpc-30ukbt5glgyyo7r2qr2e6****"
},
"RegionSettings": {
"Region": "cn-chongqing-sdv"
},
"Username": "e"
}
表示接入方式为专有网络 MongoDB 的源库或目标库的信息。在 EndpointType 取值为 Express_Mongo 时,该参数必选。
ExpressMySQLSettings
{
"Host": "192.168.0.65",
"Password": "******",
"Port": 3306,
"PrivateNetworkSettings": {
"SubnetId": "subnet-2d74b6pbyewao58ozferi****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9*****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "rootgg"
}
表示接入方式为专有网络 MySQL 的源库或目标库的信息。在 EndpointType 取值为 Express_MySQL 时,该参数必选。
ExpressPostgreSQLSettings
{
"DBName": "src",
"Host": "192.168.0.65",
"Password": "Bd2021_bd",
"Port": 5432,
"PrivateNetworkSettings": {
"SubnetId": "subnet-2bznv8i16voqo2dx0efg0****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "suser"
}
表示接入方式为专有网络 PostgreSQL 的源库或目标库的信息。在 EndpointType 取值为 Express_PostgreSQL 时,该参数必选。
ExpressRedisSettings
{
"ArchType": "Standalone",
"Host": "192.168.32.28",
"Password": "pwd",
"Port": 6399,
"PrivateNetworkSettings": {
"SubnetId": "subnet-3re9nvjumjthc5zsk2i5z****",
"VPCId": "vpc-2bzf04ctm2pz42dx0eebh****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "default"
}
表示接入方式为专有网络 Redis 的源库或目标库的信息,在 EndpointType 取值为 Express_Redis 时,该参数必选。
ExpressElasticSearchSettings
{
"Endpoints": [
"http://192.****.0.****:9200"
],
"Password": "123456",
"PrivateNetworkSettings": {
"SubnetId": "subnet-2d6asbw971nnk58ozfeei****",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9****"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "elastic"
}
表示接入方式为专有网络 ElasticSearch 的源库或目标库信息。在 EndpointType 取值为 Express_ElasticSearch 时,该参数必选。
ExpressKafkaSettings
{
"AuthType": "PLAIN",
"BrokerEndpoints": [
"192.168.0.65:9092"
],
"Password": "admin-secret",
"PrivateNetworkSettings": {
"SubnetId": "subnet-2bz5swar08oao2dx0ee******",
"VPCId": "vpc-3rebt5uf5fr405zsk2if9******"
},
"RegionSettings": {
"Region": "cn-beijing"
},
"Topic": "dial_test",
"Username": "admin"
}
表示接入方式为专有网络 Kafka 的源库或目标库信息。在 EndpointType 取值为 Express_Kafka 时,该参数必选。
Name
String
test
数据源的任务名称。在调用 CreateDataSource 接口创建数据源时需要配置该参数。
VolcMilvusSettings
Object of VolcMilvusSettings
{
"DBInstanceId": "milvus-004otp******",
"DBInstanceName": "test****",
"Password": "test@****",
"RegionSettings": {
"Region": "cn-beijing"
},
"Username": "test****"
}
表示接入方式为火山引擎版 Milvus 的源库或目标库的信息。在 EndpointType 取值为 Volc_Milvus 时,该参数必选。
VolcAIDapPGSettings
Object of VolcAIDapPGSettings
{
"RegionSettings": {
"Region": "cn-guilin-boe"
},
"Workspace": "é e",
"Branch": "é",
"DBName": "1",
"Username": "1·",
"Password": "11"
}
表示接入方式为火山引擎版 AIDAP PG 的源库或目标库的信息。在 EndpointType 取值为 Volc_AIDapPG 时,该参数必选。
PublicMilvusSettings
{
"RegionSettings": {
"Region": "cn-beijing"
},
"Endpoints": [
"milvus-008ks86g******.milvus.ivolces.com:5432"
],
"Username": "admin",
"Password": "admin@****"
}
表示接入方式为公有网络 Milvus 的源库或目标库的信息。在 EndpointType 取值为 Public_Milvus 时,该参数必选。
ExpressMilvusSettings
{
"RegionSettings": {
"Region": "cn-beijing"
},
"Endpoints": [
"milvus-008ks8******.milvus.ivolces.com:5432"
],
"PrivateNetworkSettings": {
"VPCId": "vpc-1a1c2ylbygnwg8nvepj*******",
"SubnetId": "subnet-3ptgi78ypps006csxyv******"
},
"Username": "admin",
"Password": "Admin@*****"
}
表示接入方式为专有网络 Milvus 的源库或目标库的信息。在 EndpointType 取值为 Express_Milvus 时,该参数必选。
VolcSupabaseSettings
{
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Workspace": "q",
"Branch": "q",
"DBName": "w",
"Username": "w",
"Password": "q"
}
表示接入方式为火山引擎 Supabase 的源库或目标库的信息。在 EndpointType 取值为 Volc_Supabase 时,该参数必选。
PublicSupabaseSettings
{
"RegionSettings": {
"Region": "cn-guangzhou"
},
"ApiUrl": "1",
"ServiceKey": "2",
"DBUrl": "2"
}
表示接入方式为公有网络 Supabase 的源库或目标库的信息。在 EndpointType 取值为 Public_Supabase 时,该参数必选。
ExpressSupabaseSettings
{
"RegionSettings": {
"Region": "cn-guangzhou"
},
"PrivateNetworkSettings": {
"VPCId": "vpc-ghxdgjef95hc3wt3nlcmaeuj",
"SubnetId": "subnet-22nl8dccqfjls5cp3pd01o7bh"
},
"ApiUrl": "我",
"ServiceKey": "d",
"DBUrl": "d1"
}
表示接入方式为专有网络 Supabase 的源库或目标库的信息。在 EndpointType 取值为 Express_Supabase 时,该参数必选。
VolcMySQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
mysql-3d224def****
实例 ID。
说明
  • EndpointType 取值为 Volc_MySQL 时,该参数必选。
DBInstanceName
String
testDB
实例名称。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
RegionSettings
参数
类型
是否必选
示例值
描述
Region
String
cn-beijing
地域 ID。
CrossAccountSettings
参数
类型
是否必选
示例值
描述
SourceAccount
String
2100******
源端账号 ID。
Role
String
test
通过源端账号创建的用于传输数据的角色名称。
VolcveDBMySQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
vedbm-r3xq0zdl****
实例 ID。
说明
  • EndpointType 取值为 Volc_veDB_MySQL 时,该参数必选。
DBInstanceName
String
TestveDB
实例名称。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
VolcPostgreSQLSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
postgres-h441603c68aaa****
实例 ID。
说明
EndpointType 取值为 Volc_PostgreSQL时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
VolcMongoSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
mongo-replica-e405f8e2****
实例 ID。
说明
  • EndpointType 取值为 Volc_Mongo 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
MongoAuthSourceDB
String
ReplicaSet
账号校验数据库,在 EndpointType 取值为 Volc_Mongo 时,该参数默认值为 root
DeployType
String
ShardedCluster
MongoDB 的实例类型。取值如下:
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
VolcElasticSearchSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
ztuc43y38z4w****
实例 ID。
说明
  • EndpointType 取值为 Volc_ElasticSearch 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcKafkaSettings
参数
类型
是否必选
示例值
描述
InstanceId
String
kafka-****
实例 ID。
说明
  • EndpointType 取值为 Volc_Kafka 时,该参数必选。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test****
Kafka 实例使用 PLAIN 模式的用户名称。
Password
String
test****
Kafka 实例使用 PLAIN 模式的用户密码。
Topic
String
my_topic
Kafka 的 Topic 名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcRocketMQSettings
参数
类型
是否必选
示例值
描述
InstanceId
String
MQ_INST_*****
实例 ID。
说明
  • EndpointType 取值为 Volc_RocketMQ 时,该参数必选。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test****
RocketMQ 实例的用户名称。
Password
String
test****
RocketMQ 实例的用户密码。
Topic
String
my_topic
RocketMQ 的 Topic 名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
VolcRedisSettings
参数
类型
是否必选
示例值
描述
DBInstanceId
String
redis-cn0212gzmh2xs****
实例 ID。
说明
  • EndpointType 取值为 Volc_Redis 时,该参数必选。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
CrossAccountSettings
{
"SourceAccount":"2100******",
"Role":"test"
}
跨账号传输数据的配置信息。
PublicMySQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
SSLSettings
Object of SSLSettings
{
"EnableSSL": true,
"Cert":"-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----"
}
实例加密信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
SSLSettings
参数
类型
是否必选
示例值
描述
EnableSSL
Boolean
false
是否开启 SSL 加密连接方式。取值如下:
  • true:表示开启 SSL 加密。
  • false:表示不开启 SSL 加密。
Cert
String
-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----
CA 证书内容。
说明
EnableSSL 取值为 true时,该参数必选。
PublicPostgreSQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
ExtraParams
Array of ExtraParam
[
{
"Key": "sslmode",
"Value": "require"
}
]
表示实例的连接方式,当需要通过公网连接在 AI 原生数据库管理平台(AIDAP)托管的 PostgreSQL 实例,或连接已配置 SSL 的自建实例时需要配置该参数。
ExtraParam
参数
类型
是否必选
示例值
描述
Key
String
sslmode
表示启用 SSL 连接方式,当需要通过公网自建或专有网络的方式连接在 AI 原生数据库管理平台(AIDAP)托管的 PostgreSQL 实例,或连接已配置 SSL 的自建实例时,需配置该参数,取值为 sslmode
Value
String
require
表示启用 SSL 连接方式,当需要通过公网自建或专有网络的方式连接在 AI 原生数据库管理平台(AIDAP)托管的 PostgreSQL 实例,或连接已配置 SSL 的自建实例时,需配置该参数,取值为 require。
PublicMongoSettings
参数
类型
是否必选
示例值
描述
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
DeployType
String
Standalone
MongoDB 实例的类型。取值如下:
  • Standalone:表示单节点。
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
Endpoints
Array of String
192.168.***.***:4
mongos 地址,格式为 host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
mongos 数据库账号。
Password
String
test****
mongos 的数据库密码。
MongoAuthSourceDB
String
admin
mongos 的账号校验数据库名称。
Shards
Array of MongoShardSetting
{
"Address": "192.168.0.1:27019,192.168.0.1:27020",
"Username": "test****",
"Password": "test****",
"AuthDb": "admin"
}
分片地址信息。
说明
作为返回参数时,则不返回该参数的相关信息。
UseNewShardingDatasource
Boolean
true
是否选择使用新版分片接入方式,取值如下:
  • false:表示不使用新版分片接入方式。
  • true:表示使用新版分片接入方式。部署类型为分片集场景时为默认值。
MongoShardSetting
参数
类型
是否必选
示例值
描述
Address
String
192.168.0.1:27019,192.168.0.1:27020
分片地址,例如 IP:端口域名:端口。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
AuthDb
String
admin
账号校验数据库。
PublicElasticSearchSettings
参数
类型
是否必选
示例值
描述
Endpoints
Array of String
192.168.***.***
自建实例主机地址。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
PublicRedisSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
自建实例的主机地址。
Port
Integer
4
自建实例的端口号。
Username
String
test****
数据库账号。
Password
String
test****
数据库密码。
DBName
String
test****
数据库名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域。
BuiltinKafkaSettings
参数
类型
是否必选
示例值
描述
Brokers
Array of String
[
"100.67.158.158:9092",
"100.67.158.158:9192",
"100.67.158.158:9292",
"100.67.158.158:9392",
"100.67.158.158:9492"
]
Broker 的 IP 地址及端口号,格式为 host:port
Topic
String
6f2fd63c0ea947b280877f5d2a******
Kafka 的 Topic ID。
ExpressMongoSettings
参数
类型
是否必选
示例值
描述
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
DeployType
String
ShardedCluster
实例的实例类型。取值如下:
  • Standalone:表示单节点。
  • ReplicaSet:表示副本集。
  • ShardedCluster:表示分片集群。
PullMethod
String
ChangeStream
源端增量获取方式。取值如下:
  • ChangeStream:该获取方式提供从数据集(数据库、集合或管道)中获取特定类型已修改数据的改变事件的方法。例如插入、更新或删除事件。如果选择该获取方式,那么实例的版本需大于等于 3.6。
  • Oplog:该获取方式表示直接获取 MongoD 操作日志。对于 MongoDB 分片集,选择该获取方式后需要填写所有分片地址。该方式相较于 ChangeStream 能提供更好的同步性能。
  • None:选择 None 后无法选择增量迁移,只能选择全量迁移。
说明
DeployType 参数取值为 ShardedCluster时,需设置该参数信息。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
Endpoints
Array of String
192.168.***.***:4
mongos 地址,格式为 host:port。在存在多个地址时,需使用英文逗号(,)隔开,最多支持配置 5 个地址。
Username
String
test****
mongos 数据库账号。
Password
String
test****
mongos 的数据库密码。
MongoAuthSourceDB
String
admin
mongos 的账号校验数据库名称。
Shards
Array of MongoShardSetting
{
"Address": "192.168.0.1:27019,192.168.0.1:27020",
"Username": "test****",
"Password": "test****",
"AuthDb": "admin"
}
分片地址信息。
说明
作为返回参数时,则不返回该参数的相关信息。
UseNewShardingDatasource
Boolean
true
是否选择使用新版分片接入方式,取值如下:
  • false:表示不使用新版分片接入方式。
  • true:表示使用新版分片接入方式。部署类型为分片集场景时为默认值。
PrivateNetworkSettings
参数
类型
是否必选
示例值
描述
VPCId
String
vpc-bp1opxu1zkhn00gz****
私有网络 ID。根据专有网络的连接方式,私有网络 ID 取值如下所示:
  • 专线连接:通过专线 CEN 实现数据连通时,设置 CEN 所属的任意私有网络的 ID。
  • VPN 连接:通过 VPN 实现数据连通时,设置 VPN 网关绑定的私有网络的 ID。
SubnetId
String
subnet-bpkdt37pq72zv****
私有网络 ID 内的子网 ID。
说明
子网网段需加入到目标数据库对应的白名单或安全组规则中。
ExpressMySQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
专有网络 MySQL 实例的主机地址。
Port
Integer
4
专有网络 MySQL 实例的端口。
Username
String
test***
专有网络 MySQL 实例的数据库账号。
Password
String
Admin@***
专有网络 MySQL 实例的数据库账号密码。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExpressPostgreSQLSettings
参数
类型
是否必选
示例值
描述
Host
String
192.168.***.***
专有网络 PostgreSQL 实例的主机地址。
Port
Integer
4
专有网络 PostgreSQL 实例的端口。
Username
String
test***
专有网络 PostgreSQL 实例的数据库账号。
Password
String
Admin@***
专有网络 PostgreSQL 实例的数据库账号密码。
DBName
String
test****
数据库名称。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExtraParams
Array of ExtraParam
[
{
"Key": "sslmode",
"Value": "require"
}
]
表示实例的连接方式,当需要通过专网连接在 AI 原生数据库管理平台(AIDAP)托管的 PostgreSQL 实例,或连接已配置 SSL 的自建实例时需要配置该参数。
ExpressRedisSettings
参数
类型
是否必选
示例值
描述
ArchType
String
Standalone
架构类型,取值如下:
  • Standalone:单机版。
  • Cluster:集群版。
说明
如果专有网络 Redis 实例的集群有 Proxy 服务,那么 ArchType 需要设置为 Standalone
Host
String
192.168.***.***
专有网络 Redis 实例实例的主机地址。
说明
当参数 ArchType 设置为 Standalone时,需设置该参数。
Port
Integer
4
专有网络 Redis 实例的端口。
说明
当参数 ArchType 设置为 Standalone时,需设置该参数。
Endpoints
Array of String
10.10.10.10:3717
请输入专线打通的私有网络内 Redis 集群各分片主节点的 IP:端口,以英文逗号分隔,例如:ip1:port1,ip2:port2,ip3:port3
说明
当参数 ArchType 设置为 Cluster时,需设置该参数。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
Username
String
test***
专有网络 Redis 实例的数据库账号。
Password
String
Admin@***
专有网络 Redis 实例的数据库账号密码。
说明
当参数 ArchType 设置为 Cluster时,多个分片的密码需一致,否则无法成功连接。
ExpressElasticSearchSettings
参数
类型
是否必选
示例值
描述
Endpoints
Array of String
[192.168.***.***]
专有网络 ElasticSearch 实例的主机地址。
Username
String
test***
专有网络 ElasticSearch 实例的数据库账号。
Password
String
Admin@***
专有网络 ElasticSearch 实例的数据库账号密码。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
ExpressKafkaSettings
参数
类型
是否必选
示例值
描述
BrokerEndpoints
Array of String
[10.1.***.***:9093]
专有网络 Kafka 实例 Broker 的 IP 地址及端口号,格式为 host1:port1。当存在多个 Broker 时,需使用英文逗号(,)隔开。
AuthType
String
plain
认证方式,默认取值 plain
Username
String
test***
专有网络 Kafka 实例的数据库账号。
Password
String
Admin@***
专有网络 Kafka 实例的数据库账号密码。
Topic
String
dts_sydtest
专有网络 Kafka 实例的 Topic 信息。
PrivateNetworkSettings
{
"VpcId": "vpc-bp1opxu1zkhn00gz****",
"SubnetId": "subnet-bpkdt37pq72zv****"
}
私有网络的配置信息。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
地域 ID。
VolcMilvusSettings
参数
类型
是否必选
示例值
描述
Password
String
admin@******
数据库密码。
Username
String
test****
数据库账号。
DBInstanceId
String
milvus-008ks8******
实例 ID。
DBInstanceName
String
test****
实例名称。
RegionSettings
Object of RegionSettings
{
"Region": "cn-shanghai"
}
实例所属地域 ID。
VolcAIDapPGSettings
参数
类型
是否必选
示例值
描述
Branch
String
br-tough-skua-dd******
分支 ID。
DBName
String
aidb
数据库名称。
Password
String
test******
数据库密码。
Username
String
user_admin
账号名称。
Workspace
String
frank-dill-b8*******
Workspace ID。
RegionSettings
Object of RegionSettings
cn-beijing
实例所属地域。
PublicMilvusSettings
参数
类型
是否必选
示例值
描述
Password
String
test@*****
数据库密码。
Username
String
test****
数据库账号。
Endpoints
Array of String
[
"milvus-008ks86gpuw8.milvus.ivolces.com"
]
表示公网自建 Milvus 实例的主机地址,当存在多个主机地址时,需使用英文逗号(,)隔开。
RegionSettings
Object of RegionSettings
{
"Region": "cn-beijing"
}
实例所属地域 ID。
ExpressMilvusSettings
参数
类型
是否必选
示例值
描述
Password
String
test@*****
数据库密码。
Username
String
test****
数据库账号。
Endpoints
Array of String
[
"milvus-008ks8******.milvus.ivolces.com:5432"
]
表示专有网络 Milvus 实例的主机地址,当存在多个主机地址时,需使用英文逗号(,)隔开。
RegionSettings
Object of RegionSettings
{
"Region": "cn-beijing"
}
实例所属地域 ID。
PrivateNetworkSettings
{
"VPCId": "vpc-1a1c2ylbygnwg8nvepj******",
"SubnetId": "subnet-3ptgi78ypps006csxy******"
}
私有网络的配置信息。
VolcSupabaseSettings
参数
类型
是否必选
示例值
描述
Branch
String
br-tough-skua-dd******
分支 ID。
DBName
String
aidb
数据库名称。
Password
String
test****
数据库密码。
Username
String
testWorkspace ID
数据库账号。
Workspace
String
frank-dill-b8******
Workspace ID。
RegionSettings
Object of RegionSettings
cn-guangzhou
实例所属地域。
PublicSupabaseSettings
参数
类型
是否必选
示例值
描述
DBUrl
String
test
数据库 UrL。
ApiUrl
String
postgresql://postgres:bA&H*******.kyledong.com:15433/postgres
API UrL。
ServiceKey
String
password******
服务角色密钥。
RegionSettings
Object of RegionSettings
cn-beijing
实例所属地域。
ExpressSupabaseSettings
参数
类型
是否必选
示例值
描述
DBUrl
String
test
数据库 URL。
ApiUrl
String
postgresql://postgres:bA&H*******.kyledong.com:15433/postgres
API URL。
ServiceKey
String
www
服务角色密钥。
RegionSettings
Object of RegionSettings
cn-beijing
实例所属地域。
PrivateNetworkSettings
{
"VPCId": "vpc-ghxdgjef95hc3w******",
"SubnetId": "subnet-22nl8dc****"
}
私有网络的配置信息。
SolutionSettings
参数
类型
是否必选
示例值
描述
SolutionType
String
MySQL2MySQL
任务类型。取值如下:
  • MySQL2MySQL:表示 MySQL 至 MySQL 的迁移或同步任务。
  • MySQL2ES:表示 MySQL 至 ElasticSearch 的同步任务。
  • MySQL2Kafka:表示 MySQL 至 Kafka 订阅任务。
  • MySQL2RocketMQ:表示 MySQL 至 RocketMQ 的订阅任务。
  • PG2PG:表示 PostgreSQL 至 PostgreSQL 迁移或同步任务。
  • PG2Kafka:表示 PostgreSQL 至 Kafka 的订阅任务。
  • PG2RocketMQ:表示 PostgreSQL 至 RocketMQ 的订阅任务。
  • Mongo2Mongo:表示 MongoDB 至 MongoDB 的迁移或同步任务。
  • Redis2Redis:表示 Redis 至 Redis 的迁移或同步任务。
  • Milvus2Milvus:表示 Milvus 至 Milvus 的同步任务。
  • MySQL2Milvus:表示 MySQL 至 Milvus 的同步任务。
  • Mongo2RocketMQ:表示 MongoDB 至 RocketMQ 的订阅任务。
  • Redis2RocketMQ:表示 Reidis 至 RocketMQ 的订阅任务。
  • MySQL2MySQLMigrationAssessment:表示 MySQL 至 MySQL 的迁移评估任务。
  • MySQL2MySQLDataValidation:表示 MySQL 至 MySQL 的校验任务。
  • PG2PGDataValidation:表示 PostgreSQL 至 PostgreSQL 的校验任务。
  • Mongo2MongoDataValidation:表示 MongoDB 至 MongoDB 的校验任务。
  • MSSQL2MSSQL:表示 SQL Server 至 SQL Server 的迁移任务。
  • MySQL2MySQLRowCompare:表示 MySQL 至 MySQL 的全量校验任务。
  • MySQL2MySQLIncrDataValidation:表示 MySQL 至 MySQL 的增量校验任务。
  • MySQL2MySQLRowCountCompare:表示 MySQL 至 MySQL 的行数校验任务。
  • MySQL2MySQLMetaCompare:表示 MySQL 至 MySQL 的结构校验任务。
  • PG2PGRowCompare:表示 PostgreSQL 至 PostgreSQL 的全量数校验任务。
  • Mongo2MongoRowCompare:表示 MongoDB 至 MongoDB 的全量数校验任务。
  • Mongo2MongoPkCompare:表示 MongoDB 至 MongoDB 的主键校验任务。
  • Mongo2MongoIncrDataValidation:表示 MongoDB 至 MongoDB 的增量校验任务。
  • Mongo2MongoRowCountCompare:表示 MongoDB 至 MongoDB 的行数校验任务。
  • Redis2RedisRowCompare:表示 Reidis 至 Redis 的全量校验任务。
  • MSSQL2MSSQLRowCompare:表示 SQL Server 至 SQL Server 的全量校验任务。
  • MSSQL2MSSQLRowCountCompare:表示 SQL Server 至 SQL Server 的行数校验任务。
AutoStart
Boolean
false
任务创建成功后是否自动启动任务。取值如下:
  • true:表示自动启动任务。
  • false:(默认值)表示不自动启动任务,需手动启动。
MySQL2MySQLSettings
Object of MySQL2MySQLSettings
{
"ETLSettings": {
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
},
"EnableForeignKeyChecks": false,
"EnableFullIncr": true,
"EnableFullTrxPartitionByChunk": false,
"EnableTriggerPreMigration": false,
"EnableTrxRewrite": false,
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true,
"Snapshot": false
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLInsert",
"StmtDMLUpdate"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Incr",
"Full"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Table",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "View",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Function",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Procedure",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Trigger",
"SrcObjName": "*"
},
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
],
"PolicyForPrimaryKeyConflict": "Override"
}
SolutionType 取值为 MySQL2MySQL 时,实例类型为 MySQL 的源实例迁移或同步至实例类型为 MySQL 的目标实例的参数配置,该参数必选。
MySQL2ESSettings
Object of MySQL2ESSettings
{
"ESExtraArgs": {
"Analyzer": "",
"CustomIndexType": "",
"IdxNameRule": "DBAndTable",
"InsertMode": "<UNSET>",
"ReplicaNum": 1,
"RetryTimes": 0,
"ShardNum": 5,
"TZ": ""
},
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDMLDelete",
"StmtDMLInsert",
"StmtDMLUpdate"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "testdb_bak",
"MappingList": [
{
"DestObjName": "testdb_bak_auth_operation",
"ObjectMappingSetting": {
"ESMetaMappingSetting": {
"EnableRouting": false,
"TypeName": ""
},
"LastWriteWinsKey": "",
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Table",
"SrcObjName": "auth_operation"
}
],
"ObjectType": "Database",
"SrcObjName": "testdb_bak"
}
],
"PolicyForPrimaryKeyConflict": "Override"
}
SolutionType 取值为 MySQL2ES 时,实例类型为 MySQL 的源实例同步至实例类型为 ElasticSearch 的目标实例的参数配置,该参数必选。
MySQL2KafkaSettings
Object of MySQL2KafkaSettings
{
"ETLSettings": {
"Script": ""
},
"EnableFullIncr": true,
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDMLInsert",
"StmtDMLUpdate",
"StmtDMLDelete",
"StmtDDLAll"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "auth_operation",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Incr",
"Full"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": true
},
"ObjectType": "Table",
"SrcObjName": "auth_operation"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Full",
"Incr",
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "huahua"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 MySQL2Kafka 时,实例类型为 MySQL 的源实例订阅到 Kafka 的参数配置,该参数必选。
MySQL2RocketMQSettings
{
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"ObjectMappings": [
{
"DestObjName": "database1",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "database1"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 MySQL2RocketMQ 时,实例类型为 MySQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。
PG2PGSettings
Object of PG2PGSettings
{
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Table",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "View",
"SrcObjName": "2",
"DestObjName": "2"
},
{
"ObjectType": "PostSequence",
"SrcObjName": "3",
"DestObjName": "3"
}
],
"MetaTransmissionSettings": {
"EnableMeta": "true"
},
"FullTransmissionSettings": {
"EnableMeta": "true"
},
"IncrTransmissionSettings": {
"EnableMeta": "true"
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
}
}
SolutionType 取值为 PG2PG 时,实例类型为 PostgreSQL 的源实例迁移至实例类型为 PostgreSQL 的目标实例的参数配置,该参数必选。
PG2KafkaSettings
Object of PG2KafkaSettings
{
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": false
},
"IncrTransmissionSettings": {
"EnableIncr": true
},
"MetaTransmissionSettings": {
"EnableMeta": false
},
"ObjectMappings": [
{
"DestObjName": "public",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "public"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "vpc-3ez4xswg5j94w72200ry****",
"VPCSubnetId": "subnet-3ez4xts0nc4qo72200r******"
}
}
SolutionType 取值为 PG2Kafka 时,实例类型为 PostgreSQL 的源实例订阅到 Kafka 的参数配置,该参数必选。
PG2RocketMQSettings
Object of PG2RocketMQSettings
{
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": false
},
"IncrTransmissionSettings": {
"EnableIncr": true
},
"MetaTransmissionSettings": {
"EnableMeta": false
},
"ObjectMappings": [
{
"DestObjName": "public",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "public"
}
],
"SubscriptionSettings": {
"EnableBeginCommitMessage": false,
"EnableMultiTopic": false,
"Location": "",
"PartitionPolicy": "Table",
"Protocol": "Volc",
"SubscribePartBeforeImage": false,
"VPCId": "",
"VPCSubnetId": ""
}
}
SolutionType 取值为 PG2RocketMQ 时,实例类型为 PostgreSQL 的源实例订阅到消息队列 RocketMQ 版的参数配置,该参数必选。
Mongo2MongoSettings
Object of Mongo2MongoSettings
{
"TaskName": "test",
"TrafficSpec": "Standard",
"ProjectName": "default",
"Tags": [
],
"CreateBackwardSyncTask": false,
"ChargeConfig": {
"ChargeType": "PostPaid",
"Times": 1
},
"SrcConfig": {
"EndpointType": "Public_Mongo",
"PublicMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "Oplog",
"Endpoints": [
"192.168..***.***:27***"
],
"MongoAuthSourceDB": "admin",
"Username": "root",
"Password": "admin",
"Shards": [
{
"Username": "root",
"Password": "admin",
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin"
},
{
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin",
"Username": "root",
"Password": "admin"
}
],
"UseNewShardingDatasource": true
}
},
"DestConfig": {
"EndpointType": "Volc_Mongo",
"VolcMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "None",
"DBInstanceId": "mongo-shard-××××××××",
"Username": "root",
"Password": "admin",
"UseNewShardingDatasource": true
}
},
"SolutionSettings": {
"SolutionType": "Mongo2Mongo",
"Mongo2MongoSettings": {
"TaskRunType": [
"Incr",
"Full",
"Meta"
],
"PolicyForMongoPrimaryKeyConflict": "Override",
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "test",
"DestObjName": "test",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"FullSyncParalell": 8,
"EnableFull": true
},
"AccountTransmissionSettings": {
"EnableAccount": false
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"IncrTransmissionSettings": {
"EnableIncr": true
}
}
},
"TaskType": "DataSynchronization"
}
SolutionType 取值为 Mongo2Mongo 时,实例类型为 MongoDB 的源实例迁移至实例类型为 MongoDB 的目标实例的参数配置,该参数必选。
Redis2RedisSettings
Object of Redis2RedisSettings
{
"TaskName": "rudonxxxxx-1",
"TaskType": "DataMigration",
"TrafficSpec": "Compact",
"ProjectName": "default",
"Tags": [
{
"Key": "key1",
"Value": "value1"
}
],
"SrcConfig": {
"EndpointType": "Public_Redis",
"PublicRedisSettings": {
"Host": "192.168.***.***",
"Port": 4,
"Username": "test****",
"Password": "test****",
"DBName": "test****",
"RegionSettings": {
"Region": "cn-beijing"
}
}
},
"DestConfig": {
"EndpointType": "Volc_Redis",
"VolcRedisSettings": {
"RegionSettings": {
"Region": "cn-beijing"
},
"DBInstanceId": "redis-cnlfe66ipof9y86qz",
"Username": "default",
"Password": "ASDFasdf@2020"
}
},
"SolutionSettings": {
"SolutionType": "Redis2Redis",
"Redis2RedisSettings": {
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Database",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "Database",
"SrcObjName": "2",
"DestObjName": "2"
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
}
}
},
"ChargeConfig": {
"ChargeType": "PostPaid"
}
}
SolutionType 取值为 Redis2Redis 时,实例类型为 Redis 的源实例迁移至实例类型为 Redis 的目标实例的参数配置,该参数必选。
EnableMsLvlLatency
Boolean
false
是否开启开启毫秒级延迟监控。取值如下:
  • true:(默认值)开启。开启后,可实现高精度、全链路、主动式的端到端延迟度量,有效提升监控的稳定性和对网络中断、空闲断流等异常场景的感知能力。
  • false:不开启。
说明
支持在创建以下任务时设置该参数:
  • 同步任务
  • MySQL 类型
  • MongoDB 类型
  • 订阅任务
  • PostgreSQL 订阅到 Kafka
  • PostgreSQL 订阅到 RocketMQ
  • AIDAP 订阅到 RocketMQ
MySQL2MilvusSettings
{
"MilvusInsertPolicy": "Insert",
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "test",
"DestObjName": "test",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "users",
"DestObjName": "users",
"MappingList": [
{
"ObjectType": "Column",
"SrcObjName": "balance",
"DestObjName": "balance",
"ObjectMappingSetting": {
"EmbeddingSetting": {
"EnableEmbedding": true,
"VectorFieldName": "balance_vector",
"VectorType": "FloatVector",
"MetricType": "L2",
"IndexType": "AUTOINDEX",
"KeepOriginalText": false,
"OriginalTextNewFieldName": "balance"
}
}
}
]
}
]
}
],
"ModelSettings": {
"ModelName": "doubao-embedding-vision",
"EndpointID": "ep-20260317142451-hpcwl",
"APIKey": "ark-362feb37-9c1e-4c43-9f9c-bcacc3eb7680-f8f4a",
"Dimension": 2048,
"Provider": "Volcengine"
},
"MilvusExceptionHandlePolicy": "Truncate",
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
}
}
SolutionType 取值为 MySQL2Milvus 时,实例类型为 MySQL 的源实例迁移至实例类型为 Milvus 的目标实例的参数配置,该参数必选。
Milvus2MilvusSettings
{
"MilvusInsertPolicy": "Insert",
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "default",
"DestObjName": "default",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"EnableFull": true
}
}
SolutionType 取值为 Milvus2Milvus 时,实例类型为 Milvus 的源实例迁移至实例类型为 Milvus 的目标实例的参数配置,该参数必选。
PG2PGRowCompareSettings
{
"ObjectMappings": [
{
"DestObjName": "ci",
"MappingList": [
{
"DestObjName": "runtime_strategy,(SELECT CHR(82)||CHR(113)||CHR(72)||CHR(120) FROM DUAL WHERE 4405=4405 AND 5947=DBMS_PIPE.RECEIVE_MESSAGE(CHR(99)||CHR(119)||CHR(84)||CHR(122),3))",
"ObjectType": "Table",
"SrcObjName": "runtime_strategy"
}
],
"ObjectType": "Database",
"SrcObjName": "ci"
}
],
"ValidationSettings": {
"parallel_num": 8,
"rps_limit": 0
}
}
SolutionType 取值为 PG2PGRowCompare 时,实例类型为 PostgreSQL 的数据校验任务的参数配置,该参数必选。
Supabase2SupabaseSettings
{
"MetaTransmissionSettings": {
"EnableMeta": true
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
},
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "public",
"DestObjName": "public",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
]
}
SolutionType 取值为 Supabase2Supabase 时,实例类型为 Supabase 的源实例迁移至实例类型为 Supabase 的目标实例的参数配置,该参数必选。
MySQL2MySQLSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
EnableForeignKeyChecks
Boolean
false
按需选择是否开启外键检查,开启外键检查后,支持迁移源库的外键级联更新、删除等操作,从而保证数据迁移的完整性和一致性。取值如下:
  • true:表示开启外键检查。
  • false:(默认值)表示不开启外键检查。
说明
TaskType 取值为 DataMigration时支持配置此参数。
AccountTransmissionSettings
{
"EnableAccount": true
}
将源库中指定的非系统账号及账号所拥有的权限迁移到目标库。
说明
TaskType 取值为 DataMigrationDataSynchronization时支持配置此参数。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset":"f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp":1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • TaskType 取值为 DataSynchronization ,进行全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
PolicyForPrimaryKeyConflict
String
Override
主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。
  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。
  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。
说明
在取值为 Ignore时,可能会导致数据不一致,给业务带来风险,请谨慎选择。
AccountMapping
Array of AccountMapping
{
"Account": "test****",
"ResetPassword": "true",
"Password": "*Test****"
}
待迁移的数据库账号信息。
说明
TaskType 取值为 DataMigrationDataSynchronization时支持配置此参数。
EnableTrxRewrite
Boolean
true
选择是否在传输数据时进行事务合并。开启事务合并是一种优化传输任务的方法,通过合并多个单独事务提高传输任务的整体效率和性能,并确保数据一致性。当数据传输频繁且数据量较大时,开启事务合并可以提高数据传输的效率。
  • true:表示开启事务合并。
  • false:(默认值)表示不开启事务合并。
ObjectMapping
参数
类型
是否必选
示例值
描述
ObjectType
String
Function
对象类型。取值如下:
  • Database:表示数据库。
  • Table:表示表格。
  • View:表示视图。
  • Column:表示列。
  • Function:表示函数。
  • Procedure:表示程序。
  • Trigger:表示触发器。
  • Type:表示类型。
  • Domain:表示域名。
  • Sequence:表示序列。
  • Rule:表示规则。
  • Operator:表示操作符。
  • Aggregate:表示聚合。
  • Extension:表示扩展。
  • Constraint:表示约束。
  • PostSequence:表示 PostgreSQL 的序列。
  • Schema:表示模式。
  • Event:表示事件。
  • DomainConstraint:表示域约束。
  • BlackTable:表示该表为黑名单表,订阅时被过滤,不同步至目标端。
SrcObjName
String
ceshi****
源端对象名称。
说明
在参数 ObjectType 取值为 BlackTable时,需填写加入黑名单的表名。
DestObjName
String
test****
目标端对象名称。
说明
在参数 ObjectType 取值为 BlackTable时,需填写加入黑名单的表名。
MappingList
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
传输任务对象。
ObjectMappingSetting
{
"ESMetaMappingSetting": {
"PidCol": [
"id",
"name"
],
"EnableRouting": true,
"RoutingCol": [
"id"
]
}
}
在数据同步至 ElasticSearch 时,需配置的其他参数信息。
ObjectMappingSetting
参数
类型
是否必选
示例值
描述
ESMetaMappingSetting
{
"PidCol": [
"id",
"name"
],
"EnableRouting": true,
"RoutingCol": [
"id"
]
}
ElasticSearch 的结构映射参数。
EmbeddingSetting
Object of EmbeddingSetting
{
"EnableEmbedding": true,
"VectorFieldName": "age_vector",
"VectorType": "FloatVector",
"MetricType": "L2",
"IndexType": "AUTOINDEX",
"KeepOriginalText": true,
"OriginalTextNewFieldName": "age"
}
表的向量化配置信息。表示将源列数据转换成向量化。
PreVectorizedSetting
{
"VectorType": "FloatVector",
"MetricType": "L2",
"IndexType": "AUTOINDEX",
"Dimension": 128,
"SourceEncoding": "FloatArray"
}
预向量化设置信息。表示源列数据已经完成向量化可直接进行同步。
ESMetaMappingSetting
参数
类型
是否必选
示例值
描述
PidCol
Array of String
["id", "name"]
主键(_id)取值。当不设置此参数时,默认为主键的列。
EnableRouting
Boolean
EnableRouting
是否启用 Routing,取值如下:
  • true:表示启用 Routing。
  • false:表示不启用 Routing。
RoutingCol
Array of String
["id"]
_routing 的取值。当 EnableRouting 取值为 true 时,该参数必选。
EmbeddingSetting
参数
类型
是否必选
示例值
描述
IndexType
String
AUTOINDEX
向量索引类型,当前仅支持设置为 AUTOINDEX
MetricType
String
L2
度量类型,取值包括:L2、IP、COSINE。
VectorType
String
FloatVector
向量类型,当前仅支持 FloatVector 取值。
EnableEmbedding
Boolean
true
是否开启向量化配置,取值如下:
  • true:表示开启向量化配置。
  • false:表示不开启向量化配置。
VectorFieldName
String
age_vector
向量化的名称。
KeepOriginalText
Boolean
true
是否保留原文名称,取值如下:
  • true:表示保留原文名称。
  • false:表示不保留原文名称。
OriginalTextNewFieldName
String
test
原文新列名,为空时表示未作修改保留原文名称。
PreVectorizedSetting
参数
类型
是否必选
示例值
描述
Dimension
Integer
128
表示向量维度,默认为 128,取值范围 1~32768。
IndexType
String
AUTOINDEX
向量索引类型,当前仅支持设置为 AUTOINDEX
MetricType
String
L2
度量类型,取值包括:L2、IP、COSINE。
VectorType
String
FloatVector
向量类型,当前仅支持 FloatVector 取值。
SourceEncoding
String
FloatArray
源数据的编码格式,当前仅支持 FloatArray 取值。
AccountTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableAccount
Boolean
false
是否开启用户迁移。取值如下:
  • true:表示开启。
  • false:表示不开启。
MetaTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableMeta
Boolean
true
是否开启库表结构迁移或订阅。取值如下:
  • true:表示开启。
  • false:表示不开启。
DisablePostMeta
Boolean
true
当 PostgreSQL 数据库迁移/同步类型中选择结构迁移/结构初始化时,DTS 会自动在增量迁移/同步结束后迁移/同步后置结构,您也可以选择跳过后置结构迁移/同步,即 DTS 不迁移/同步后置结构。
PostgreSQL 数据库后置结构/同步迁移对象包括普通触发器、事件触发器、RULE、互斥约束、外键约束、检查约束、Domain 约束、设置 Sequence 值。
是否跳过 PostgreSQL 后置结构迁移或后置结构同步。取值如下:
  • true:表示跳过 PostgreSQL 后置结构迁移或后置结构同步。
  • false:表示不跳过 PostgreSQL 后置结构迁移或后置结构同步。
FullTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableFull
Boolean
true
是否开启全量迁移、全量订阅或全量初始化。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
Snapshot
Boolean
true
是否开启全量一致性迁移。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
ExtraConditions
Array of FullExtraCondition
{
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
全量过滤条件。
RPSLimit
Integer
100000
每秒迁移或同步的行数,取值范围为 1~100000,默认值为 100000。
BPSLimit
Integer
25000
每秒迁移或同步的数据量,取值范围 1~25000,单位 KB,默认值为 25000。
FullSyncParalell
Integer
8
迁移或同步任务的并发数。默认值 8,取值范围 1~64。
FullExtraCondition
参数
类型
是否必选
示例值
描述
Db
String
TestName
需要过滤的数据库名称。
Table
String
TableName
需要过滤的表格名称。
WhereSql
String
id = 5
过滤的 SQL 语句。
IncrTransmissionSettings
参数
类型
是否必选
示例值
描述
EnableIncr
Boolean
true
是否开启增量迁移、增量订阅或增量同步。取值如下:
  • true:表示开启。
  • false:表示不开启,默认值。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
Statements
Array of String
[
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
需要传输的操作语句。取值如下:
  • StmtDMLInsert
  • StmtDMLUpdate
  • StmtDMLDelete
  • StmtDDLAll
  • StmtDDLAlterTable
  • StmtDDLAlterView
  • StmtDDLCreateFunction
  • StmtDDLCreateIndex
  • StmtDDLCreateProcedure
  • StmtDDLCreateTable
  • StmtDDLCreateView
  • StmtDDLDropIndex
  • StmtDDLDropTable
  • StmtDDLDropFunction
  • StmtDDLDropProcedure
  • StmtDDLTruncateTable
  • StmtDDLRenameTable
  • StmtDDLDropView
BpsLimit
Long
25000
用于设置增量同步的带宽速率上限(单位为 Byte/s)。当取值设置大于 0 时生效;留空或设置为 0 则表示不限速。
RpsLimit
Long
100000
用于设置增量同步的 RPS 速率上限。当取值设置大于 0 的值即生效;留空或设置为 0 则表示不限速。
ETLSettings
参数
类型
是否必选
示例值
描述
Script
String
(defn desensitization []
(dts/match-table "user" (dts/map-column 'id_card str/md5)))
流式数据 ETL 的脚本。关于脚本依赖的语法信息,请参见 DSL 语法
ErrorBehaviorSettings
参数
类型
是否必选
示例值
描述
MaxRetrySeconds
Integer
600
最大错误重试时间。取值范围:600~86400,单位:秒(s)。默认值为 600 秒。
MySQLPosition
参数
类型
是否必选
示例值
描述
Gtid
String
3e11fa47-71ca-11e1-9e33-c80aa9429562:58
表示从指定的 GTID 开始拉取 Binlog 日志,格式为 source_id:transaction_id
Gset
String
f76eb90f-82a2-11e5-a162-7ca23e9126c5:3
表示从指定的 GTID_EXECUTED 开始拉取 Binlog 日志,格式为 source_id:transaction_id,当存在多个时,可使用英文逗号(,)隔开。
说明
关于如何获取实例的 GTID_EXECUTED,请参见如何获取实例的 GTID_EXECUTED
Timestamp
Long
1679642652
表示从指定的时间戳开始拉取 Binlog 日志。
AccountMapping
参数
类型
是否必选
示例值
描述
Account
String
test****
待迁移的账号名称。
ResetPassword
Boolean
true
是否重置密码,取值如下:
  • true:表示重置新密码。
  • false:表示不重置新密码。默认值。
Password
String
*Test****
待迁移账号的新密码。
MySQL2ESSettings
参数
类型
是否必选
示例值
描述
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "huahua"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
流式数据 ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
ESExtraArgs
Object of ESExtraArgs
{
"IdxNameRule": "Table",
"ShardNum": 3,
"ReplicaNum": 1,
"TZ": "UTC +08:00",
"RetryTimes": 600,
"Analyzer": "standard",
"InsertMode": "Replace"
}
在同步至 Elasticsearch 时的参数信息。
PolicyForPrimaryKeyConflict
String
ThrowError
主键冲突处理。当目标库已存在同主键值的行时的处理方法,取值如下:
  • ThrowError:表示冲突报错,表示预检查时提示相关报错,需手动修改相关数据,否则同步任务无法启动。
  • Ignore:表示冲突忽略,表示预检查时会跳过对目标数据库中存在同主键值的行,同步任务可正常启动。
  • Override:表示冲突覆盖,表示使用源库数据覆盖目标库数据,同步任务可正常启动。
说明
在取值为 Ignore时,可能会导致数据不一致,给业务带来风险,请谨慎选择。
ESExtraArgs
参数
类型
是否必选
示例值
描述
IdxNameRule
String
Table
索引拼接规则。
  • Table:表示使用表名拼接方式。
  • DBAndTable:表示使用库名+表名的拼接方式。
ShardNum
Long
3
分片数。
ReplicaNum
Long
1
副本数。
TZ
String
UTC +08:00
时区。支持 UTC -12:00 ~ +13:00。默认值为 Region 所在的 TimeZone。
RetryTimes
Long
7200
错误重试时间。
Analyzer
String
standard
支持的分词器。
InsertMode
String
Replace
源端的插入操作,取值如下:
  • Replace:表示在目标端不存在对应索引时,则插入一条新数据,在目标端存在对应索引时,则更新对应的索引。
  • Update:表示在目标端不存在对应索引时,则跳过。在目标端存在对应索引时,则更新对应数据。
MySQL2KafkaSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": false,
"SubscribePartBeforeImage": false
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset": "f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp": 1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • 全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
SubscriptionSettings
参数
类型
是否必选
示例值
描述
Protocol
String
Volc
数据订阅格式。取值如下:
  • Volc:表示火山引擎 Proto。
  • Canal:表示 Canal Proto。
  • CanalJSON:表示 Canal JSON。
  • Avro:表示 Avro 格式。
  • DebeziumJSON:表示 Debezium JSON 格式。
说明
关于订阅格式的详细信息,请参见数据订阅格式
Protocol取值为 DebeziumJSON 时,ProgressType 不支持设置为 Meta
PartitionPolicy
String
P0
Topic 的 Partition 接收策略。取值如下:
  • P0:表示统一投递至 Partition 0。
  • Table:表示按照库名和表名的联合 hash 值投递到不同 Partition。
  • Key:表示按主键的 hash 值投递到不同 Partition。
说明
TaskType 取值为 DataSubscription 时,以下情况下支持配置该参数:
  • EndpointType 取值为 Volc_Kafka
  • Volc_RocketMQ时,可设置该参数。
VPCId
String
vpc-bp1opxu1zkhn00gz****
私有网络 ID。
VPCSubnetId
String
AttachPoints.1.SubnetId=subnet-2fexiqjlgjif45oxruvso****&AttachPoints.2.SubnetId=subnet-7rtsu6whhle6j****
私有网络 ID 内的子网 ID。
说明
私有网络内的子网至少要包含 1 个可用 IP。
EnableBeginCommitMessage
Boolean
false
按需设置是否按照事务维度进行订阅消息,从而确保消息的一致性和完整性。取值如下:
  • true:表示订阅 Begin/Commit 消息。
  • false:(默认值)表示不订阅 Begin/Commit 消息。
说明
需要同时满足以下条件时,才支持配置该参数:
  • Protocol 选择VolcCanalCanalJSONAvro
  • EndpointType 选择 Builtin_KafkaEndpointType 选择 Volc_KafkaExpress_Kafka
  • EndpointType 选择 Volc_KafkaExpress_Kafka 时,且 PartitionPolicy 需选择 P0
SubscribePartBeforeImage
Boolean
true
按需设置是否订阅所有字段。取值如下:
  • true:(默认值)表示订阅所有字段的前镜像。
  • false:表示仅订阅变更字段的前镜像。
说明
只有当实例类型 MySQL,中间件接入方式为消息队列 Kafka 版专有网络 Kafka,且订阅格式选择 Canal JSON 时,才支持配置该参数。
TimeZoneLocation
String
Asia/Shanghai
该参数用于指定数据订阅中 Timestamp 类型的输出时区(默认 UTC)。如果下游需按本地时区解析或与业务时间对齐,您可以按需选择对应时区。取值如下:
  • Asia/Shanghai:表示中国标准时间(不区分冬/夏令时,固定:UTC+8)。
  • America/New_York:表示美国东部时间(冬令时:UTC-5,夏令时:UTC-4)。
  • America/Los_Angeles:表示美国西部时间(冬令时:UTC-8,夏令时:UTC-7)。
  • Europe/London:表示英国时间(冬令时:UTC+0,夏令时:UTC+1)。
  • Asia/Tokyo:表示日本时间(不区分冬/夏令时,固定:UTC+9)。
  • Asia/Kolkata:表示印度时间(不区分冬/夏令时,固定:UTC+5:30)。
  • UTC:表示 UTC 协调世界时(不区分冬/夏令时,固定:UTC+0)。
  • Europe/Berlin:表示德国时间(冬令时:UTC+1,夏令时:UTC+2)。
  • Asia/Singapore:表示新加坡时间(不区分冬/夏令时,固定:UTC+8)。
说明
只有当实例类型 MySQL,中间件接入方式为消息队列 Kafka 版专有网络 Kafka消息队列 RocketMQ 版时,且订阅方式至少包含全量订阅和增量订阅中的一个,才支持配置该参数。
DisableScientificNotationForFloat
Boolean
false
是否选择使用禁用科学计数法,按需选择 MySQL 数据写入到 Kafka 时的数值类型,取值如下:
  • false:当选择 false 时,FLOATDOUBLE 类型的数据将被转为常规数值格式,不再使用科学计数法。
  • 只有当实例类型 MySQL,中间件接入方式为消息队列 Kafka 版专有网络 Kafka消息队列 RocketMQ 版时,且订阅方式至少包含全量订阅和增量订阅中的一个,才支持配置该参数。
  • 该方式会改变订阅数据的输出格式,请根据下游需求谨慎设置。
  • true:使用禁用科学计数法。
MySQL2RocketMQSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
流式数据 ETL 的参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset": "f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp": 1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • 全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
PG2PGSettings
参数
类型
是否必选
示例值
描述
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "huahua"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
SkipNoPermissionTables
Boolean
PG2KafkaSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
SkipNoPermissionTables
Boolean
true
按需选择是否自动跳过无权限表。取值如下:
  • true:表示开启自动跳过无权限表。当遇到无权限表时,系统将自动跳过,不会中断任务,但可能会因数据丢失导致业务异常,建议同时配置事件告警规则。
  • false:表示不开启自动跳过无权限表。
PG2RocketMQSettings
参数
类型
是否必选
示例值
描述
SubscriptionSettings
{
"Protocol": "Volc",
"PartitionPolicy": "P0",
"VPCId": "vpc-bp1opxu1zkhn00gz****",
"VPCSubnetId": "subnet-7rtsu6whhle6j****",
"EnableBeginCommitMessage": true,
"SubscribePartBeforeImage": true
}
订阅任务对象的配置信息。
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
  • TaskType 取值为 DataSynchronization 时,该参数必填。
SkipNoPermissionTables
Boolean
true
按需选择是否自动跳过无权限表。取值如下:
  • true:表示开启自动跳过无权限表,当遇到无权限表时,系统将自动跳过,不会中断任务,但可能会因数据丢失导致业务异常,建议同时配置事件告警规则。详细操作,请参见 CreateEventRule
  • false:表示不开启自动跳过无权限表。
SkipMessageOverMaxLength
Boolean
true
按需选择是否自动跳过超长消息。
  • true:当消息超出限制时,系统会自动跳过,不会中断任务,但可能会因数据丢失导致业务异常,建议同时配置事件告警规则。详细操作,请参见 CreateEventRule
  • false:表示不自动跳过超长消息。
说明
在消息队列 RocketMQ 订阅火山引擎 AIDAP 版 PostgreSQL 数据库时支持配置该参数。
Mongo2MongoSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
MetaTransmissionSettings
{
"EnableMeta": true,
"DisablePostMeta": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示结构迁移。
  • 数据订阅:表示库表结构订阅。
  • 数据同步:表示结构初始化。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ETLSettings
Object of ETLSettings
{
"Script": "(defn desensitization []\n (dts/match-table \"user\" (dts/map-column 'id_card str/md5)))"
}
ETL 参数配置。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
AccountMapping
Array of AccountMapping
{
"Account": "test****",
"ResetPassword": "true",
"Password": "*Test****"
}
待同步的数据库账号信息。
说明
TaskType 取值为 DataSynchronization时支持配置此参数。
AccountTransmissionSettings
{
"EnableAccount": true
}
将源库中指定的非系统账号及账号所拥有的权限同步到目标库。
说明
TaskType 取值为 DataSynchronization时支持配置此参数。
Redis2RedisSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "test",
"MappingList": [
{
"DestObjName": "*",
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta"
],
"PolicyForKeyConflict": "TableNone",
"SetObjectTransType": false
},
"ObjectType": "Event",
"SrcObjName": "*"
}
],
"ObjectMappingSetting": {
"LastWriteWinsKey": "",
"ObjectTransTypes": [
"Meta",
"Full",
"Incr"
],
"PolicyForKeyConflict": "TableOverride",
"SetObjectTransType": true
},
"ObjectType": "Database",
"SrcObjName": "test"
}
]
源端和目标端对象的映射信息。
FullTransmissionSettings
{
"EnableFull": true,
"Snapshot": true,
"RPSLimit": 100000,
"BPSLimit": 25000,
"FullSyncParalell": 8,
"ExtraConditions": {
"Db": "TestName",
"Table": "TableName",
"WhereSql": "id = 5"
}
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示全量迁移。
  • 数据订阅:表示全量订阅。
  • 数据同步:表示全量初始化。
IncrTransmissionSettings
{
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
}
通过对目标库增量日志的解析和回放。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据迁移:表示增量迁移。
  • 数据订阅:表示增量订阅。
  • 数据同步:表示增量同步。
说明
TaskType 取值为 DataSynchronization时,该参数必填。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 7200
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。
EnableKSN
Boolean
false
按需选择是否开启 KSN 进行增量,开启后 DTS 将使用 Redis 的键空间通知机制进行捕获增量数据变更,用于捕获 Redis 原生复制协议无法传递的事件。取值如下:
  • true:表示开启 KSN。
  • false:(默认值)表示不开启 KSN。
说明
由于 KSN 机制依赖 Redis 服务端的实时消息推送,对性能非常敏感,开启该功能前您需关注以下风险:
  • 性能损耗大:KSN 会增加源库 CPU 和网络开销,可能对线上业务造成较大的压力。
  • 大 Key 场景禁忌:如果业务中存在大 Key 的频繁操作,极易导致 KSN 消息堆积或超时,进而导致同步任务失败。
  • 数据一致性风险:KSN 无法百分之百保证消息的可靠投递,在网络抖动或源库负载过高时可能会存在消息丢失的风险,从而导致主备数据不一致。
  • SLA 不保障:由于上述不稳定性,开启该功能后的同步链路不在标准 SLA 保障范围内。
MySQL2MilvusSettings
参数
类型
是否必选
示例值
描述
ModelSettings
Object of ModelSettings
{
"ModelName": "doubao-embedding-vision",
"EndpointID": "ep-20260317142451-hpcwl",
"APIKey": "ark-362feb37-9c1e-4c43-9f9c-bcacc3eb7680-f8f4a",
"Dimension": 2048,
"Provider": "Volcengine"
}
大模型应用的核心参数与行为规则。
MySQLPosition
Object of MySQLPosition
{
"Gtid": "3e11fa47-71ca-11e1-9e33-c80aa9429562:58",
"Gset": "f76eb90f-82a2-11e5-a162-7ca23e9126c5:3",
"Timestamp": 1679642652
}
设置从某指定位点或时间点拉取 Binlog 日志。
说明
  • 全量初始化时,不支持此参数配置。
  • 当不设置此参数时,默认为系统能识别的最早时间点。
ObjectMappings
Array of ObjectMapping
[
{
"ObjectType": "Database",
"SrcObjName": "test",
"DestObjName": "test",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "users",
"DestObjName": "users",
"MappingList": [
{
"ObjectType": "Column",
"SrcObjName": "balance",
"DestObjName": "balance",
"ObjectMappingSetting": {
"EmbeddingSetting": {
"EnableEmbedding": true,
"VectorFieldName": "balance_vector",
"VectorType": "FloatVector",
"MetricType": "L2",
"IndexType": "AUTOINDEX",
"KeepOriginalText": false,
"OriginalTextNewFieldName": "balance"
}
}
}
]
}
]
}
]
源端和目标端对象的映射信息。
VectorSourceMode
String
EmbeddingRequired
向量化方式,取值如下:
  • EmbeddingRequired:表示源端是标量值,需要经过 Embedding 模型转换为向量。
  • PreVectorized:表示源端字段已包含序列化的向量数据,只需解析,不需要 Embedding。
MilvusInsertPolicy
String
Insert
数据的写入方式,取值如下:
  • Insert:使用 Insert 写入数据时,Milvus 不检查目标端主键的唯一性,直接写入数据。Insert 写入方式适用于 Collection 开启 AutoID 且源端与目标端数据(含主键)一致的场景。当 DTS 重启或重复拉取数据时,可能会造成目标端数据冗余。
  • Upsert:使用 Upsert 写入数据时,Milvus 检查目标端是否已存在该主键,当不存在该主键时,直接写入;如果存在该主键,将删除原数据,然后写入新的数据。当 Collection 开启 AutoID 时,Milvus 忽略原数据的主键信息,并为其生成新的主键。Upsert 写入方式适用于更新现有数据,且 Collection 未开启 AutoID,或 Collection 开启 AutoID 但业务或校验不依赖主键的场景。当 DTS 重启或重复拉取数据时,可能会导致主键不一致,影响依赖主键的业务或校验。
Milvus 是否开启 AutoID,与写入方式的选择,对业务造成的影响区别较大,更多信息,请参见 Milvus 主字段和自动识别
ErrorBehaviorSettings
{
"MaxRetrySeconds": 600
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。默认值为 600,取值范围:600~86400,单位:秒(s)。
FullTransmissionSettings
{
"EnableFull": true
}
全量读取源表内容并写到对应的目标库。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据同步:表示全量初始化。
MetaTransmissionSettings
{
"EnableFull": true
}
读取源库表结构定义语法,重新组装成目标库的语法格式。根据不同任务,该参数意义有所差异,具体如下所示:
  • 数据同步:表示结构初始化。
MilvusExceptionHandlePolicy
String
Truncate
在数据导入、字段映射或 ETL 过程中,遇到数据类型不匹配、长度超限或格式错误等异常情况时,系统的响应方式,取值如下:
  • TRUNCATE:自动截取超长字符以适应字段长度。适用于非关键字段(如备注),注意可能导致信息丢失。
  • SKIP:遇到错误数据自动跳过,继续处理下一条。适用于容忍部分数据缺失的场景,建议事后核查日志。
  • FAIL:遇到任何异常立即停止任务。适用于财务等核心业务,确保数据绝对准确,但需预先清洗数据。
ModelSettings
参数
类型
是否必选
示例值
描述
APIKey
String
ark-dc43737e-e4ca-4ade-a94f-***********
用于调用大模型或应用时的鉴权凭证。关于如何获取 API Key 的详细操作,请参见管理 API Key
Dimension
Integer
2048
多模态向量化模型的输出向量长度,取值如下:
  • 2048:(推荐)可保留更丰富的语义信息,适合优先追求检索效果的场景。
  • 1024:可降低存储、索引构建和查询资源开销,适合对性能、成本或超大规模数据更敏感的场景。
ModelName
String
doubao-embedding-vision
向量化配置的模型,当前仅支持 doubao-embedding-vision 取值。
EndpointID
String
ep-20260317142451-hpcwl
按需设置调用大模型推理服务的入口。
Milvus2MilvusSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"ObjectType": "Database",
"SrcObjName": "default",
"DestObjName": "default",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
]
源端和目标端对象的映射信息。
MilvusInsertPolicy
String
Insert
源端数据在目标端的写入方式,取值如下:
  • Insert:使用 Insert 直接插入数据,适用于 Collection 开启 AutoID 且源端与目标端数据(含主键)一致的场景。当 DTS 重启或重复拉取数据时,可能会造成目标端数据冗余。
  • Upsert:使用 Upsert 直接插入数据或更新现有数据。适用于更新现有数据,Collection 未开启 AutoID,或 Collection 开启 AutoID 但业务或校验不依赖主键的场景。当 DTS 重启或重复拉取数据时,可能会导致主键不一致,影响依赖主键的业务或校验。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 600
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。默认值为 600,取值范围:600~86400,单位:秒(s)。
FullTransmissionSettings
{
"EnableFull": true
}
全量读取源表内容并写到对应的目标库。
PG2PGRowCompareSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"DestObjName": "ci",
"MappingList": [
{
"DestObjName": "runtime_strategy,(SELECT CHR(82)||CHR(113)||CHR(72)||CHR(120) FROM DUAL WHERE 4405=4405 AND 5947=DBMS_PIPE.RECEIVE_MESSAGE(CHR(99)||CHR(119)||CHR(84)||CHR(122),3))",
"ObjectType": "Table",
"SrcObjName": "runtime_strategy"
}
]
数据校验对象。
ValidationSettings
Object of ValidationSettings
{
"parallel_num": 8,
"rps_limit": 0
}
ValidationSettings
参数
类型
是否必选
示例值
描述
rps_limit
Long
0
表示校验任务发起请求的速率上限。当设置为 0 时表示不限制
parallel_num
Long
8
表示数据校验任务同时执行的并行线程或分片数量。
Supabase2SupabaseSettings
参数
类型
是否必选
示例值
描述
SupabaseDBTransmissionSettings
{
"MetaTransmissionSettings": {
"EnableMeta": true
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
},
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "kyle_pm_e2e_20260525_175001",
"DestObjName": "kyle_pm_e2e_20260525_175001",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
]
}
迁移的数据库对象信息。
SupabaseStorageTransmissionSettings
{
"FullTransmissionSettings": {
"EnableFull": true
},
"ObjectMappings": [
{
"ObjectType": "Bucket",
"SrcObjName": "stress_test_bucket_1",
"DestObjName": "stress_test_bucket_1",
"MappingList": [
]
}
]
}
存储对象信息。
SupabaseDBTransmissionSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"ObjectType": "Database",
"SrcObjName": "kyle_pm_e2e_20260525_175001",
"DestObjName": "kyle_pm_e2e_20260525_175001",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
]
迁移对象信息。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 600
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
FullTransmissionSettings
{
"EnableFull": true
}
全量迁移过程中读取源表内容并写到对应的目标库信息。
IncrTransmissionSettings
{
"EnableIncr": false
}
增量迁移过程中读取源表内容并写到对应的目标库信息。
MetaTransmissionSettings
{
"EnableFull": true
}
结构迁移过程中读取源表内容并写到对应的目标库信息。
SupabaseStorageTransmissionSettings
参数
类型
是否必选
示例值
描述
ObjectMappings
Array of ObjectMapping
[
{
"ObjectType": "Bucket",
"SrcObjName": "stress_test_bucket_1",
"DestObjName": "stress_test_bucket_1",
"MappingList": [
]
}
]
迁移对象信息。
ErrorBehaviorSettings
{
"MaxRetrySeconds": 600
}
错误重试时间。当源库或目标库断连后,若能在该时间内重新连上,任务即可自动恢复。取值范围:600~86400,单位:秒(s)。
FullTransmissionSettings
{
"EnableFull": true
}
全量迁移过程中读取源存储对象内容并写到对应的目标库。
ChargeConfig
参数
类型
是否必选
示例值
描述
ChargeType
String
PrePaid
计费类型,取值如下:
  • NotEnabled:表示未开启计费。
  • PostPaid:表示按量付费。
  • PrePaid:表示包年包月。
Times
Integer
12
购买时长。
说明
ChargeType 取值为 PrePaid时,支持此配置。
AutoRenew
Boolean
true
是否自动续费,取值如下:
  • true:表示自动续费。
  • false:表示不自动续费,默认值。
OneStep
Boolean
false
是否立即付费,取值如下:
  • true:表示立即付费。
  • false:表示不立即付费,默认值。
TagObject
参数
类型
是否必选
示例值
描述
Key
String
key1
标签的键信息。配置规格如下:
  • 支持任何语言、文字、数字、空格或符号(_.:/=+-@)。
  • 大小写敏感,且长度在 1~128 个字符内。
  • 使用 UTF-8 编码的 Unicode 格式。
  • 不支持设置以 volc: 开头的任何形式的 Key,例如 Volc:VOLC: 等。
Value
String
value1
标签的值信息。配置规格如下:
  • 支持任何语言、文字、数字、空格或符号(_.:/=+-@)。
  • 大小写敏感,且长度在 0~256 个字符内。
  • 使用 UTF-8 编码的 Unicode 格式。
返回参数
参数
类型
示例值
描述
TaskId
String
af16a602e1134abdbb281864ca******
任务 ID。
示例
MySQL 请求示例
POST /?Action=CreateTransmissionTask&Version=2022-10-01 HTTP/1.1
Content-Type: application/json
Host: dts.cn-beijing.volcengineapi.com
X-Date: 20221001T101010Z
Authorization: HMAC-SHA256 Credential=AKLTN2I0MmFiNzMxNWE5NDgzMzk4MmVjMTVkODlkZTZ****/20221001/cn-beijing/dts/request,SignedHeaders=x-date, Signature=71d31fc7bcf990142851c9833c5656391486cda0ae2e0b8ada733b7c645****
{
"TaskName": "zaizaitest****1",
"TaskType": "DataMigration",
"SrcConfig": {
"EndpointType": "Public_MySQL",
"PublicMySQLSettings": {
"Host": "192.168.***.***",
"Port": 4,
"Username": "test****",
"Password": "Admin@****",
"SSLSettings": {
"EnableSSL": "true",
"Cert": "-----BEGIN CERTIFICATE----- ...... -----END CERTIFICATE-----"
},
"RegionSettings": {
"Region": "cn-shanghai"
}
}
},
"DestConfig": {
"EndpointType": "Volc_MySQL",
"VolcMySQLSettings": {
"DBInstanceId": "mysql-7cd1dc4ab511",
"DBInstanceName": "",
"Password": "Admin@****",
"RegionSettings": {
"Region": "cn-guangzhou"
},
"Username": "test****"
}
},
"TrafficSpec": "Compact",
"ProjectName": "default",
"SolutionSettings": {
"MySQL2MySQLSettings": {
"AccountTransmissionSettings": {
"EnableAccount": true
},
"ETLSettings": {
"Script": ""
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"FullSyncParalell": 8,
"RPSLimit": 100000,
"BPSLimit": 25000000,
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": true,
"Statements": [
"StmtDDLAll",
"StmtDMLDelete",
"StmtDMLUpdate",
"StmtDMLInsert"
]
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"EnableForeignKeyChecks": true,
"ObjectMappings": [
{
"DestObjName": "huahua",
"MappingList": [
{
"DestObjName": "*",
"ObjectType": "Table",
"SrcObjName": "*"
}
],
"ObjectType": "Database",
"SrcObjName": "huahua"
}
],
"PolicyForPrimaryKeyConflict": "Override",
"AccountMapping": {
"Account": "test****",
"ResetPassword": "true",
"Password": "*Test****"
}
},
"SolutionType": "MySQL2MySQL"
},
"Tags": [
{
"Key": "key1",
"Value": "value1"
}
],
"ChargeConfig": {
"ChargeType": "PostPaid",
"OneStep": true
}
}
Redis 请求示例
POST /?Action=CreateTransmissionTask&Version=2022-10-01 HTTP/1.1
Content-Type: application/json
Host: dts.cn-beijing.volcengineapi.com
X-Date: 20221001T101010Z
Authorization: HMAC-SHA256 Credential=AKLTN2I0MmFiNzMxNWE5NDgzMzk4MmVjMTVkODlkZTZ****/20221001/cn-beijing/dts/request,SignedHeaders=x-date, Signature=71d31fc7bcf990142851c9833c5656391486cda0ae2e0b8ada733b7c645****
{
"TaskName": "rudonxxxxx-1",
"TaskType": "DataMigration",
"TrafficSpec": "Compact",
"ProjectName": "default",
"Tags": [
{
"Key": "key1",
"Value": "value1"
}
],
"SrcConfig": {
"EndpointType": "Public_Redis",
"PublicRedisSettings": {
"Host": "192.168.***.***",
"Port": 4,
"Username": "test****",
"Password": "test****",
"DBName": "test****",
"RegionSettings": {
"Region": "cn-beijing"
}
}
},
"DestConfig": {
"EndpointType": "Volc_Redis",
"VolcRedisSettings": {
"RegionSettings": {
"Region": "cn-beijing"
},
"DBInstanceId": "redis-cnlfe66ipof9y86qz",
"Username": "default",
"Password": "ASDFasdf@2020"
}
},
"SolutionSettings": {
"SolutionType": "Redis2Redis",
"Redis2RedisSettings": {
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Database",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "Database",
"SrcObjName": "2",
"DestObjName": "2"
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
},
"FullTransmissionSettings": {
"EnableFull": true
},
"IncrTransmissionSettings": {
"EnableIncr": false
}
}
},
"ChargeConfig": {
"ChargeType": "PostPaid",
"OneStep": true
}
}
PostgreSQL 请求示例
POST /?Action=CreateTransmissionTask&Version=2022-10-01 HTTP/1.1
Content-Type: application/json
Host: dts.cn-beijing.volcengineapi.com
X-Date: 20221001T101010Z
Authorization: HMAC-SHA256 Credential=AKLTN2I0MmFiNzMxNWE5NDgzMzk4MmVjMTVkODlkZTZ****/20221001/cn-beijing/dts/request,SignedHeaders=x-date, Signature=71d31fc7bcf990142851c9833c5656391486cda0ae2e0b8ada733b7c645****
{
"TaskName": "rudonxxxxx-1",
"TaskType": "DataMigration",
"TrafficSpec": "Compact",
"ProjectName": "default",
"Tags": [
{
"Key": "key1",
"Value": "value1"
}
],
"SrcConfig": {
"EndpointType": "Public_PostgreSQL",
"PublicPostgreSQLSettings": {
"Host": "192.168.***.***",
"Port": 4,
"Username": "test****",
"Password": "Admin@****",
"DBName": "test****",
"RegionSettings": {
"Region": "cn-beijing"
}
}
},
"DestConfig": {
"EndpointType": "Volc_PostgreSQL",
"VolcPostgreSQLSettings": {
"DBInstanceId": "postgres-h441603c68aaa****",
"Username": "test****",
"Password": "Admin@****",
"DBName": "test****",
"RegionSettings": {
"Region": "cn-beijing"
}
}
},
"SolutionSettings": {
"SolutionType": "PG2PG",
"PG2PGSettings": {
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "0",
"DestObjName": "0"
},
{
"ObjectType": "Table",
"SrcObjName": "1",
"DestObjName": "1"
},
{
"ObjectType": "View",
"SrcObjName": "2",
"DestObjName": "2"
},
{
"ObjectType": "PostSequence",
"SrcObjName": "3",
"DestObjName": "3"
}
],
"MetaTransmissionSettings": {
"EnableMeta": "true"
},
"FullTransmissionSettings": {
"EnableMeta": "true"
},
"IncrTransmissionSettings": {
"EnableMeta": "true"
},
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 7200
}
},
"ChargeConfig": {
"ChargeType": "PostPaid",
"OneStep": true
}
}
}
MongoDB 请求示例
POST /?Action=CreateTransmissionTask&Version=2022-10-01 HTTP/1.1
Content-Type: application/json
Host: dts.cn-beijing.volcengineapi.com
X-Date: 20221001T101010Z
Authorization: HMAC-SHA256 Credential=AKLTN2I0MmFiNzMxNWE5NDgzMzk4MmVjMTVkODlkZTZ****/20221001/cn-beijing/dts/request,SignedHeaders=x-date, Signature=71d31fc7bcf990142851c9833c5656391486cda0ae2e0b8ada733b7c645****
{
"TaskName": "test",
"TrafficSpec": "Standard",
"ProjectName": "default",
"Tags": [
],
"CreateBackwardSyncTask": false,
"ChargeConfig": {
"ChargeType": "PostPaid",
"OneStep": true
},
"SrcConfig": {
"EndpointType": "Public_Mongo",
"PublicMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "Oplog",
"Endpoints": [
"192.168..***.***:27***"
],
"MongoAuthSourceDB": "admin",
"Username": "root",
"Password": "admin",
"Shards": [
{
"Username": "root",
"Password": "admin",
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin"
},
{
"Address": "192.168.***.***:27***,192.168.***.***:27***",
"AuthDb": "admin",
"Username": "root",
"Password": "admin"
}
],
"UseNewShardingDatasource": true
}
},
"DestConfig": {
"EndpointType": "Volc_Mongo",
"VolcMongoSettings": {
"RegionSettings": {
"Region": "×××××××××"
},
"DeployType": "ShardedCluster",
"PullMethod": "None",
"DBInstanceId": "mongo-shard-××××××××",
"Username": "root",
"Password": "admin",
"UseNewShardingDatasource": true
}
},
"SolutionSettings": {
"SolutionType": "Mongo2Mongo",
"Mongo2MongoSettings": {
"TaskRunType": [
"Incr",
"Full",
"Meta"
],
"PolicyForMongoPrimaryKeyConflict": "Override",
"ObjectMappings": [
{
"ObjectType": "Database",
"SrcObjName": "test",
"DestObjName": "test",
"MappingList": [
{
"ObjectType": "Table",
"SrcObjName": "*",
"DestObjName": "*"
}
]
}
],
"ErrorBehaviorSettings": {
"MaxRetrySeconds": 600
},
"FullTransmissionSettings": {
"FullSyncParalell": 8,
"EnableFull": true
},
"AccountTransmissionSettings": {
"EnableAccount": false
},
"MetaTransmissionSettings": {
"EnableMeta": true
},
"IncrTransmissionSettings": {
"EnableIncr": true
}
}
},
"TaskType": "DataSynchronization"
}
返回示例
{
"ResponseMetadata": {
"Action": "CreateTransmissionTask",
"Region": "cn-beijing",
"Service": "dts",
"Version": "2022-10-01",
"RequestId": "20230604110420****100232280022D31"
},
"Result": {
"TaskId": "af16a602e1134abdbb281864ca******"
}
}
错误码
更多详情,请参见错误码
最近更新时间:2026.09.04 15:35:32
这个页面对您有帮助吗?
有用
有用
无用
无用