文档中心

消息队列 Kafka版

迁移元数据

在线迁移元数据

在线迁移元数据

当您的本地执行环境可以访问公网时，您可在您的本地执行环境上执行迁移命令，通过迁移工具在线迁移元数据。本文档介绍在线迁移元数据的操作步骤。

前提条件

您的本地执行环境需满足以下要求：

可访问公网。

已安装 Python 3，您可以在 Python 官网下载并安装。

已在控制台上创建迁移任务，具体操作步骤，参见创建迁移任务。

已获取迁移任务对应的迁移命令，具体操作步骤，参见查看迁移命令。

注意事项

确保目标 Kafka 实例分区数量充足，系统将自动进行迁移前校验，若检查到目标 Kafka 实例分区数量不足，则自动取消迁移。查看实例剩余可用分区数量的具体操作步骤，参见查看实例详情。若分区数量不足，请购买分区，若分区数量已达实例当前规格最大额度，请升级实例规格。各计算规格对应分区额度，参见产品规格。

在数据迁移过程中，建议您不要在目标 Kafka 实例中创建新的 Topic 或 Group，以免造成由重命名、分区数量不足等原因导致的迁移失败。

操作步骤

说明

若您的本地执行环境上已存在迁移工具，您可跳过步骤 1。

在您的本地执行环境上，运行以下命令，下载迁移工具脚本 volc-kafka-migrate.py。

wget http://kafka-migrate-tool.tos-cn-beijing.volces.com/volc-kafka-migrate.py

在迁移工具所在目录下，运行以下命令，在线迁移元数据。

未开启 SASL 认证
已开启 SASL 认证

当源 Kafka 实例未开启 SASL 认证时，运行从控制台上获取的命令：

python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --access-key ${您的账号AK} --secret-key ${您的账号SK} --region ${目标Kafka实例所在地域} --task-id ${您的迁移任务ID}

参数说明，请参见查看迁移命令。
当源 Kafka 实例开启了 SASL 认证时，需要在从控制台上获取的命令中增加以下参数：

--security-protocol ${协议} --sasl-username ${SASL 用户名} --sasl-password ${SASL 用户密码} --sasl_mechanism ${SASL 认证机制}

在以上命令中：
${协议}：源 Kafka 实例使用的数据传输协议，取值可为 SASL_PLAINTEXT 或 SASL_SSL。
${SASL 用户名}：用于 SASL 认证的用户名。
${SASL 用户密码}：用于 SASL 认证的用户密码。
${认证机制}：源 Kafka 实例使用的 SASL 认证机制，取值如下：
GSSAPI
PLAIN
SCREAM-SHA-256
SCRAM-SHA-512
OAUTHBEARER
在增加参数后，在线迁移命令如下：

python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --access-key ${您的账号AK} --secret-key ${您的账号SK} --region ${目标Kafka实例所在地域} --task-id ${您的迁移任务ID} --security-protocol ${协议} --sasl-username ${SASL 用户名} --sasl-password ${SASL 用户密码} --sasl_mechanism ${SASL 认证机制}

验证迁移结果。

说明

您可在消息队列 Kafka版控制台集群迁移页面上，查看相应任务的迁移进程，待 Topic 和 Group 迁移完成后，执行以下步骤，验证迁移结果。

若 Topic 或 Group 迁移失败，您可单击与 Topic 迁移或 Group 迁移对应的修改配置按钮，查看导致迁移失败的具体原因并采用相应修改方案，具体操作请参见修改迁移数据配置。

登录消息队列 Kafka版控制台。

在顶部菜单栏中，选择目标实例所在地域。

在左侧菜单栏中选择实例列表。

在实例列表中，单击目标实例名称。

查看 Topic 和 Group 信息，

单击 Topic管理页签，进入 Topic管理页，查看当前实例中的 Topic 信息。

单击 Group管理页签，进入 Group管理页，查看当前实例中的 Group 信息。

最近更新时间：2025.08.01 15:36:18

这个页面对您有帮助吗？

有用

有用

无用

无用