在 EMR on ECS 高可用集群中,您可以将 HiveServer2 和 HiveMetastore 部署在多个 Master 节点上,并根据业务需求动态调整其实例数量。本文将指导您完成以下操作:在创建集群时配置部署拓扑、在集群运行期间扩容 Master 节点,以及扩容和缩容 Hive 组件。
Hive 的高可用部署配置分别针对 HiveServer2 和 HiveMetastore。您可以为这两个组件选择不同的 Master 节点,并在调整其中一个组件时,保持另一个组件的部署不变。
在调整部署前,请先理解以下两种操作的区别:
我们建议您在业务低峰期执行部署调整。请注意,即使采用多实例部署,正在运行的会话或作业仍有可能在变更过程中中断。因此,在生产环境中执行变更前,请务必评估其对业务连接、任务运行及剩余节点负载的潜在影响。
如果您计划在创建新集群时,为 HiveServer2 和 HiveMetastore 指定部署节点,请遵循以下步骤:
进入 EMR on ECS 的集群创建页面,选择 Hive 服务并开启 高可用。
在硬件设置页面,选择 自定义部署,点击 设置部署拓扑。
在 Hive 服务区域,分别为 HiveServer2 和 HiveMetastore 配置部署节点。您可以通过增删配置行来调整实例数量,并在下拉列表中选择具体的 Master 节点。
核对两个组件的部署数量和节点,确保每个组件都至少保留 2 个实例。如需部署超过 5 个实例,请先联系技术支持确认开通。
完成其他集群配置并提交创建。集群创建成功后,请检查这两个组件的部署节点、实例数量和运行状态是否符合预期。
如果现有的 Master 节点已无法承载更多 Hive 组件实例,您可以先为集群增加 Master 节点,并在扩容时为新节点配置组件部署。
如果集群中还有 Master 节点未部署某个 Hive 组件,您可以使用此功能在这些节点上增加该组件的实例。
此操作用于减少 HiveServer2 或 HiveMetastore 的部署实例。
说明
缩容下限是针对单个组件的实例数,而非节点数量。当任一组件仅剩 2 个实例时,该组件便不能再被缩容。服务缩容仅调整组件的部署,不会释放节点(ECS 资源)。如果您需要释放节点,请执行节点缩容操作。