You need to enable JavaScript to run this app.
文档中心
消息队列 Kafka版

消息队列 Kafka版

复制全文
下载 pdf
集群迁移
修改迁移数据配置
复制全文
下载 pdf
修改迁移数据配置
当 Topic 或 Group 迁移失败时,您可在控制台上查看导致迁移失败的具体错误类型,并根据错误类型,采用相应修改方案,修改待迁移的 Topic 或 Group 配置。本文档介绍迁移数据配置的操作步骤。​
背景信息​
开始迁移前,消息队列 Kafka版将自动校验待迁移的元数据,检查迁移的元数据配置是否符合规范,若检查到不符合规范的配置,则自动取消迁移,并给出相应错误类型。您可根据错误类型修改配置,各错误类型对应的修改方案如下。​
  • Topic​
  • ​
    校验项​
    错误类型​
    错误原因​
    修改方案​
    Topic 名称​
    命名错误​
    Topic 名称不符合规范​
    修改 Topic 名称,命名规范如下:​
    • 必须以英文或数字开头。​
    • 支持的字符包括英文、数字、中划线(-)、下划线(_)、英文句号(.)。​
    • 长度为 3 字符 ~ 64 字符。​
    ​
    重命名​
    Topic 名称重复​
    修改 Topic 名称,命名规范如下:​
    • 必须以英文或数字开头。​
    • 支持的字符包括英文、数字、中划线(-)、下划线(_)、英文句号(.)。​
    • 长度为 3 字符 ~ 64 字符。​
    分区数​
    分区数错误​
    Topic 分区数不符合规范​
    修改 Topic 分区数,取值范围为 1~300。​
    说明​
    每个 Topic 的分区都会在 Kafka 实例内部打散存放,为保证分区在目标 Kafka 实例内能够均匀的被打散,建议设置各 Topic 分区的数量为目标 Kafka 实例 Broker 数量的整数倍,您可参考查看节点信息,查看实例的 Broker 数量。​
    副本数​
    副本数错误​
    Topic 副本数不符合规范​
    修改 Topic 副本数,取值支持 1、2、3。​
    说明​
    • 增加副本数会占用实例磁盘容量,请确保容量充足。增加副本时会占用实例带宽资源,建议在业务低峰期操作。​
    • 减少副本数会降低数据可用性,请谨慎操作。​
    • 1 副本 Topic 无法保障数据可靠性且实例升级期间无法进行读写操作,建议选择 2 副本或 3 副本。​
    最小同步副本数​
    最小同步副本数错误​
    Topic 最小同步副本数不符合规范​
    修改 Topic 最小同步副本数,取值说明如下:​
    • 副本数为 1 时,最小同步副本数只能为 1。​
    • 副本数为 2 或 3 时,最小同步副本数不能超过副本数减 1。​
    消息保留时长​
    消息保留时长错误​
    Topic 消息保留时长不符合规范​
    修改 Topic 的消息保留时长,取值范围为 0~2160,单位为小时。​
    最大消息大小​
    最大消息大小错误​
    Topic 最大消息大小不符合规范​
    修改 Topic 的最大消息大小,取值范围为 1MB~12MB。​
    消息清理策略​
    消息清理策略错误​
    Topic 的消息清理策略取值不符合规范​
    修改消息清理策略取值,取值说明如下:​
    • DELETE:在磁盘容量充足的情况下,保留在最长保留时间范围内的消息;在磁盘容量不足时,将提前删除旧消息,以保证服务可用性。​
    • COMPACT:针对每个消息的 Key 进行整合,对于有相同 Key 的消息,只保留最新的 value 值,旧的记录则会被清除。​
    说明​
    如果消息没有 Key,请勿使用 COMPACT 消息清理策略。​
    • DELETE,COMPACT:同时配置 DELETE 和 COMPACT 两种消息清理策略。只要消息满足任一条清理策略时,都将被清除。​
    Topic 分区总数​
    所有 Topic 分区数总和过大,请减少分区​
    待迁移的 Topic 分区总数超过目标 Kafka 实例的可用分区数​
    • 若目标 Kafka 实例分区数量已达当前规格的最大额度,则升级目标 Kafka 实例的计算规格,具体操作步骤请参见升级实例规格。​
    说明​
    • 查看实例剩余可用分区数量的具体操作步骤,参见查看实例详情。​
    • 各计算规格对应分区额度,参见产品规格。​
    ​
  • Group​
  • ​
    校验项​
    错误类型​
    错误原因​
    修改方案​
    Group 名称​
    命名错误​
    Group ID不符合规范​
    修改 Group ID,填写规范如下:​
    • 支持英文、数字、@、中划线(-)、下划线(_)。​
    • 长度范围为 3 字符 ~ 128 字符。​
    ​
    重命名​
    Groud ID 重复​
    修改 Group ID,填写规范如下:​
    • 支持英文、数字、@、中划线(-)、下划线(_)。​
    • 长度范围为 3 字符 ~ 128 字符。​
    ​
操作步骤​
  1. 在顶部菜单栏中,选择目标实例所在地域。​
  1. 在左侧菜单栏中选择集群迁移。​
  1. 在集群迁移页面上的任务列表中,单击目标任务迁移进程列中 Topic 迁移或 Group 迁移对应的修改配置。​
  1. 单击 Topic 配置或 Group 配置页签,查看未通过校验的配置及其错误类型。​
说明​
根据错误类型,采用相应修改方案修改 Topic 或 Group 配置。各错误类型对应的修改方案,参见背景信息。​
  • 修改配置操作步骤如下:​
  1. 在列表中,单击目标 Topic 或 Group 操作列中的编辑图标。​
  1. 修改错误配置,例如名称、分区数、副本数、最小同步副本数等。​
  1. 单击操作列中的确定图标。​
  • 系统将自动校验修改后的配置,若校验通过,则取消显示相应错误类型。​
  1. 在修改所有错误配置后,单击确认,重新导入数据。​
​
最近更新时间:2025.06.27 15:19:35
这个页面对您有帮助吗?
有用
有用
无用
无用