文档中心

消息队列 Kafka版

迁移元数据

离线迁移元数据

离线迁移元数据

当您的本地执行环境不可访问公网时，您可使用迁移工具导出源 kafka 实例中的元数据，再在控制台上将元数据文件导入迁移任务，实现元数据的离线迁移。本文档介绍离线迁移元数据的操作步骤。

前提条件

您的本地执行环境需满足以下条件：

可访问源 Kafka 实例接入点。

已安装 Python 3.0 版本，您可以在 Python 官网下载并安装。

已在控制台上创建迁移任务，具体操作步骤参见创建迁移任务。

操作步骤

说明

若您的本地执行环境上已存在迁移工具，可跳过步骤 1 和步骤 2。

在可以访问公网的环境上，运行以下命令，获取迁移工具脚本 volc-kafka-migrate.py。

wget http://kafka-migrate-tool.tos-cn-beijing.volces.com/volc-kafka-migrate.py

将获取的迁移脚本拷贝到您的本地执行环境上。

在本地执行环境迁移工具所在目录下，运行以下命令，导出元数据。

未开启 SASL 认证
已开启 SASL 认证

当源 Kafka 实例未开启 SASL 认证时，运行以下命令：

python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --mode offline

使用源 Kafka 实例的 Bootstrap servers 地址替换以上命令中的 ${您的kafka集群bootstrap servers地址}。
当源 Kafka 实例开启了 SASL 认证时，需要在命令中增加以下参数：

--authentication-mode ${协议} --sasl-username ${SASL 用户名} --sasl-password ${SASL 用户密码} --sasl_mechanism ${SASL 认证机制} --mode offline

在以上命令中：
${您的kafka集群bootstrap servers地址}：源 Kafka 实例的 Bootstrap servers 地址。
${协议}：源 Kafka 实例使用的数据传输协议，取值可为 SASL_PLAINTEXT 或 SASL_SSL。
${SASL 用户名}：用于 SASL 认证的用户名。
${SASL 用户密码}：用于 SASL 认证的用户密码。
${SASL 认证机制}：源 Kafka 实例使用的 SASL 认证机制，取值如下：
GSSAPI
PLAIN
SCREAM-SHA-256
SCRAM-SHA-512
OAUTHBEARER
在增加参数后，导出元数据的命令如下：

python3 volc-kafka-migrate.py --bootstrap-server ${您的kafka集群bootstrap servers地址} --authentication-mode ${协议} --sasl-username ${SASL 用户名} --sasl-password ${SASL 用户密码} --sasl_mechanism ${SASL 认证机制} --mode offline

下载导出的元数据文件。

在同目录下，您可看到名为 volc-kafka-export-data.json 的元数据文件。

在控制台上，将元数据文件导入相应迁移任务。

具体操作步骤请参见导入元数据。

验证迁移结果。

说明

您可在消息队列 Kafka版控制台集群迁移页面上，查看相应任务的迁移进程，待 Topic 和 Group 迁移完成后，执行以下步骤，验证迁移结果。

若 Topic 或 Group 迁移失败，您可单击与 Topic 迁移或 Group 迁移对应的修改配置按钮，查看导致迁移失败的具体原因并采用相应修改方案，具体操作请参见修改迁移数据配置。

登录消息队列 Kafka版控制台。

在顶部菜单栏中，选择目标 kafka 实例所在地域。

在左侧菜单栏中选择实例列表。

在实例列表中，单击目标实例名称。

查看 Topic 和 Group 信息。

单击 Topic管理页签，进入 Topic管理页，查看当前实例中的 Topic 信息。

单击 Group管理页签，进入 Group管理页，查看当前实例中的 Group 信息。

最近更新时间：2025.08.01 15:36:18

这个页面对您有帮助吗？

有用

有用

无用

无用