You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
高阶使用
Hive 高可用
复制全文
下载 pdf
Hive 高可用

在 EMR on ECS 高可用集群中,您可以将 HiveServer2 和 HiveMetastore 部署在多个 Master 节点上,并根据业务需求动态调整其实例数量。本文将指导您完成以下操作:在创建集群时配置部署拓扑、在集群运行期间扩容 Master 节点,以及扩容和缩容 Hive 组件。

功能说明

Hive 的高可用部署配置分别针对 HiveServer2 和 HiveMetastore。您可以为这两个组件选择不同的 Master 节点,并在调整其中一个组件时,保持另一个组件的部署不变。
在调整部署前,请先理解以下两种操作的区别:

  • Master 节点扩容:为集群增加 Master 节点。您可以自定义部署拓扑,决定是否在新增的节点上部署 Hive 组件。
  • Hive 服务扩缩容:在现有的 Master 节点上增加或减少 Hive 组件的实例。此操作不涉及增加或释放 Master 节点本身。

注意事项
  • 适用范围:本文的操作适用于支持 Hive 服务动态扩缩容的 EMR on ECS 高可用集群,且集群已安装 Hive。所有部署操作均在 Master 节点上进行,不涉及 Core 或 Task 节点。
  • 实例数量:创建高可用集群时,HiveServer2 和 HiveMetastore 默认各部署 3 个实例,如需部署超过 5 个,要单独申请开通。实际可选的实例数量受限于当前可用的 Master 节点数。
  • 缩容下限:缩容后,HiveServer2 和 HiveMetastore 必须分别保留至少 2 个实例。此下限不能将两个组件的实例数合并计算。

我们建议您在业务低峰期执行部署调整。请注意,即使采用多实例部署,正在运行的会话或作业仍有可能在变更过程中中断。因此,在生产环境中执行变更前,请务必评估其对业务连接、任务运行及剩余节点负载的潜在影响。

创建集群时配置部署拓扑

如果您计划在创建新集群时,为 HiveServer2 和 HiveMetastore 指定部署节点,请遵循以下步骤:

  1. 进入 EMR on ECS 的集群创建页面,选择 Hive 服务并开启 高可用。
    Image

  2. 在硬件设置页面,选择 自定义部署,点击 设置部署拓扑。
    Image

  3. 在 Hive 服务区域,分别为 HiveServer2 和 HiveMetastore 配置部署节点。您可以通过增删配置行来调整实例数量,并在下拉列表中选择具体的 Master 节点。

  4. 核对两个组件的部署数量和节点,确保每个组件都至少保留 2 个实例。如需部署超过 5 个实例,请先联系技术支持确认开通。

  5. 完成其他集群配置并提交创建。集群创建成功后,请检查这两个组件的部署节点、实例数量和运行状态是否符合预期。

扩容 Master 节点并部署 Hive 组件

如果现有的 Master 节点已无法承载更多 Hive 组件实例,您可以先为集群增加 Master 节点,并在扩容时为新节点配置组件部署。

  1. 进入目标集群,单击 节点管理。
  2. 在 MasterGroup 节点组的操作区域单击 扩容。
    Image
  3. 选择 自定义部署,点击 设置部署拓扑。
    Image
  4. 在 Hive 服务区域,为 HiveServer2 或 HiveMetastore 选择新增的部署节点。如果某个组件无需扩容,保持其原有部署即可。
  5. 确认节点扩容数量和组件部署拓扑后,提交扩容请求。
  6. 扩容任务完成后,请分别检查新增的 Master 节点和新增的 Hive 组件实例。节点扩容成功不代表组件也已按预期部署完成,请务必同时检查两者。

在现有 Master 节点上扩容 Hive 服务

如果集群中还有 Master 节点未部署某个 Hive 组件,您可以使用此功能在这些节点上增加该组件的实例。

  1. 进入目标集群的 服务管理 页面,在 Hive 服务所在行单击 服务扩容。
  2. 在需要扩容的组件区域,单击加号并选择一个尚未部署该组件的 Master 节点。
    Image
  3. 填写 操作备注,简要说明变更原因,然后单击 确认扩容。
  4. 操作完成后,请检查目标节点上是否已成功部署新实例,并确认其运行状态符合预期。

缩容 Hive 服务

此操作用于减少 HiveServer2 或 HiveMetastore 的部署实例。

  1. 进入目标集群的 服务管理 页面,在 Hive 服务所在行单击 服务缩容。
  2. 在需要缩容的组件区域,单击减号以移除目标节点的部署配置。
  3. 填写 操作备注,确认无误后单击 确认缩容。
  4. 操作完成后,请检查保留的部署节点、实例数量及组件运行状态,并验证业务访问是否正常。

说明

缩容下限是针对单个组件的实例数,而非节点数量。当任一组件仅剩 2 个实例时,该组件便不能再被缩容。服务缩容仅调整组件的部署,不会释放节点(ECS 资源)。如果您需要释放节点,请执行节点缩容操作。

最近更新时间:2026.10.29 10:13:28
这个页面对您有帮助吗?
有用
有用
无用
无用