You need to enable JavaScript to run this app.
文档中心
存储迁移服务

存储迁移服务

复制全文
下载 pdf
DMS 2.0 迁移指南
部署代理
复制全文
下载 pdf
部署代理
代理用于执行控制台上的迁移任务将数据迁移到火山引擎 TOS。部署代理时,您需要先在控制台创建代理,然后在服务器安装并启动 DMS Agent 。当代理和 DMS Agent 连接成功后,代理和代理组的状态会变为正常,系统才会将迁移任务分发给代理,并由其执行具体的迁移操作。本文介绍安装和启动 Agent 的注意事项、操作步骤等内容。​
前提条件​
已创建代理组,具体操作,请参见创建代理组。​
注意事项​
每台本地服务器仅支持部署一个 DMS Agent。​
运行环境​
当前仅支持将 DMS Agent 部署在 Linux x86 环境,暂不支持 Windows 和 macOS 环境。硬件最低要求如下:​
  • CPU:不少于 4 个核心。​
  • 内存:容量不少于 8 GB。​
  • 日志存储空间:不少于 16 GB。​
推荐使用 CPU 16 核、内存 32GB 以上的机型。​
步骤一:创建代理​
  1. 在左侧导航栏,选择 DMS2.0 > 代理组管理。​
  1. 在代理组管理页面顶部导航栏,选择目标代理组所属地域。​
  1. 单击目标代理组的名称。​
  1. 在代理组详情页面,单击创建代理。​
  1. 在创建代理对话框,输入代理名称,单击确定。​
  • 代理创建完成后,由于未连接 DMS Agent,状态显示为异常。待后续与 DMS Agent 连接成功后,代理的状态将由异常变更为运行中。​
步骤二:查看代理 ID​
  1. 在左侧导航栏,选择 DMS2.0 > 代理组管理。​
  1. 在代理组管理页面顶部导航栏,选择目标代理组所属地域。​
  1. 单击目标代理组的名称。​
  1. 在代理组详情页面,目标代理的名称/ID列获取代理 ID。​
步骤三:安装 DMS Agent​
您可以手动下载 DMS Agent,然后将 DMS Agent 上传到服务器,也可以通过 wget 命令下载 DMS Agent ,说明如下:​
  1. 执行以下命令,下载 DMS Agent。​
  • ​
    wget https://m645b3e1bb36e-mrap.mrap.accesspoint.tos-global.volces.com/linux/amd64/dms-agent && chmod a+x dms-agent​
    ​
  1. 执行以下命令,查看 DMS Agent 版本号。​
  • ​
    ./dms-agent -v​
    ​
  • 返回如下版本信息,表示 DMS Agent 安装成功。​
  • ​
    dms agent version v1.0.0​
    operating system: linux, arch: amd64​
    ​
步骤四:启动 DMS Agent​
  1. 执行以下命令,创建 DMS Agent 配置文件。​
  • ​
    ./dms-agent config --path <文件路径>​
    ​
  • 示例命令如下:​
  • ​
    ./dms-agent config --path /root/touch/agent.yaml​
    ​
  1. 执行以下命令,在配置文件中设置迁移参数,并保存更改。​
  • ​
    vim /root/touch/agent.yaml​
    ​
  • 在配置文件中根据实际情况设置必选参数,参数说明如下:​
  • ​
    分类​
    参数​
    是否必选​
    说明​
    基本参数​
    agent_id​
    是​
    代理 ID。代理创建完成后,DMS 控制台会自动生成代理 ID。关于查看代理 ID 的详细介绍,请参见步骤二:查看代理 ID。​
    ​
    api_config.ak​
    是​
    创建迁移任务时使用火山引擎账号的 Access Key ID。关于查看 AK、SK 的具体操作,请参见获取当前身份的 Access Key。​
    ​
    api_config.sk​
    是​
    创建迁移任务时使用的火山引擎账号的 Secret Access Key。​
    ​
    api_config.sts_token​
    否​
    临时访问密钥中的 Security Token。​
    说明​
    仅使用临时访问密钥创建迁移任务时,您才需要在配置文件中配置 api_config.sts_token 参数。​
    ​
    api_config.region​
    是​
    存储迁移服务的迁移任务所属地域。​
    ​
    api_config.endpoint​
    是​
    存储迁移服务的访问域名,详细介绍,请参见地域和访问域名。​
    ​
    task.tos_endpoint​
    是​
    对象存储的访问域名。如果使用公网迁移数据,则需要填写 TOS 的公网访问域名;如果使用私网迁移数据,则需要填写 TOS 的私网访问域名。详细介绍,请参见地域和访问域名。​
    日志参数​
    log_conf.log_path​
    否​
    保存日志文件的路径,默认为安装 DMS Agent 的目录。​
    ​
    log_conf.rotation_time​
    否​
    日志文件切割的时间间隔,用于定期创建新的日志文件,单位为秒。​
    ​
    log_conf.rotation_size​
    否​
    日志文件大小阈值,单位为字节。​
    ​
    log_conf.log_level​
    否​
    日志的级别,取值 DEBUG 、INFO、WARN和 ERROR 。​
    ​
    log_conf.alive_time_hout​
    否​
    日志保留时间,默认为 48 小时。​
    高级配置参数​
    pprof.enable​
    否​
    是否启用 pprof 功能,取值说明如下:​
    • true:启用 pprof 功能。​
    • false:不启用 pprof 功能。​
    ​
    task.symlink_policy​
    否​
    软链接文件迁移策略,取值说明如下:​
    • skip:不迁移软链接文件。​
    • follow:将软链接文件以独立文件的形式迁移到对象存储 TOS。​
    ​
    save_check_point_interval_sec​
    否​
    异步保存复制进度的间隔时间,单位为秒。​
    例如设置save_check_point_interval_sec 为 5 ,则如果因异常原因导致数据传输中断,数据传输进度会回退到 5 秒前。​
    ​
    pprof.port​
    否​
    pprof 功能所监听的端口号。​
    ​
    task.scanner_work_num​
    否​
    单任务并发扫描的线程数。​
    ​
    task.part_pool_size​
    否​
    单对象分片上传时指定的并发数。​
    ​
    task.work_pool_size​
    否​
    单任务上传的并发数上限。​
    ​
    task.multipart_upload_part_size​
    否​
    上传大文件时单个分片默认大小,单位为字节。​
    ​
    task.multi_upload_threshold​
    否​
    启用分片任务上传对象的阈值,即仅当对象大小大于该值时,才会对对象进行分片上传,单位为字节。​
    ​
    task.max_conns_per_host​
    否​
    单任务中访问目标端 host 的最大连接数。​
    ​
    task.max_idle_conns​
    否​
    单任务中访问目标端空闲连接池的大小。​
    ​
    task.max_idle_conns_per_host​
    否​
    单任务中访问目标端单个域名可以使用的空闲连接池大小。​
    ​
说明​
如果迁移并发速度无法满足您的需求,您可以调大 task.work_pool_size 、task.max_conns_per_host、task.max_idle_conns、task.max_idle_conns_per_host 参数值,以提高迁移并发速度。调整后,您需要观察 CPU 利用率,确保其处于合理范围内,避免因过度增加并发导致系统资源过载。​
  1. 执行以下命令,启动 DMS Agent。​
  • ​
    ./dms-agent start --conf <文件路径>​
    ​
  • 示例命令如下:​
  • ​
    ./dms-agent start --conf /root/touch/agent.yaml​
    ​
  • 启动 DMS Agent 时可指定代理 ID、 Access Key ID、Secret Access Key 等信息。在启动 DMS Agent 时通过命令行指定的参数,其优先级高于配置文件中的配置项。参数说明如下:​
  • ​
    参数​
    是否必选​
    说明​
    conf​
    是​
    配置文件路径。​
    region​
    否​
    存储迁移服务的迁移任务所属地域。​
    agentId​
    否​
    代理 ID。代理创建完成后,DMS 控制台会自动生成代理 ID。关于查看代理 ID 的详细介绍,请参见步骤二:查看代理 ID。​
    ak​
    否​
    创建迁移任务时使用的火山引擎账号的 Access Key ID。​
    sk​
    否​
    创建迁移任务时使用的火山引擎账号的 Secret Access Key。​
    tosEndpoint​
    否​
    对象存储的访问域名。如果使用公网迁移数据,则需要填写 TOS 的公网访问域名;如果使用私网迁移数据,则需要填写 TOS 的私网访问域名。详细介绍,请参见地域和访问域名。​
    apiEndpoint​
    否​
    存储迁移服务的访问域名,详细介绍,请参见地域和访问域名。​
    ​
  1. 验证 DMS Agent 是否启动成功。​
  1. 在左侧导航栏,选择 DMS2.0 > 代理组管理。​
  1. 在代理组管理页面顶部导航栏,选择目标代理组所属地域。​
  1. 单击目标代理组的名称。​
  1. 在代理组详情页面,查看 DMS Agent 绑定的代理 ID 对应代理的状态,如果代理的状态将由异常变更为运行中,说明DMS Agent 启动成功。​
说明​
启动 DMS Agent 后,DMS Agent 会自动尝试与存储迁移服务建立连接。连接成功后,DMS 控制台上代理的状态将由异常变更为运行中,代理组的状态由异常变更为正常,此时您可以使用该代理组创建迁移任务。具体操作,请参见创建迁移任务。​
相关操作​
停止、卸载和升级​
​
停止 DMS Agent
卸载 DMS Agent
升级 DMS Agent
​
停止 DMS Agent 进程的命令如下:​
​
./dms-agent stop​
​
​
​
扩容和缩容​
​
扩容 DMS Agent
缩容 DMS Agent
​
如果您待迁移的数据存放在多个服务器,且服务器中的数据相同,您可以在各个服务器中部署 DMS Agent。这些 DMS Agent 将并行执行数据读取、写入操作,从而提高数据迁移速度。操作说明如下: ​
  1. 在同一个代理组下创建新代理,具体操作,请参见创建代理。 ​
  1. 在服务器中安装并启动 DMS Agent,具体操作,请参见启动 DMS Agent。​
​
​
最近更新时间:2026.01.27 18:52:33
这个页面对您有帮助吗?
有用
有用
无用
无用