You need to enable JavaScript to run this app.
文档中心
ByteHouse云数仓版

ByteHouse云数仓版

复制全文
下载 pdf
计算组
计算组概述
复制全文
下载 pdf
计算组概述

本文介绍了 ByteHouse 云数仓计算组的功能定义、核心优势及使用指引等内容。

概述

计算组(Virtual Warehouse,VW)是 ByteHouse 中的计算资源集群,提供了 CPU、Memory 及临时存储等核心资源,为各类数据操作提供稳定的算力支撑,用于执行用户的 SQL 查询和写入任务,具体包括:

  • 执行需要使用计算资源的 SQL 语句(例如从表和视图中检索行),覆盖短时和长时运行查询场景;
  • 执行 DML 操作,例如:
    • 对表中数据进行删除、插入、更新等行级操作;
    • 数据加载至表或从表中导出数据的流转操作。

计算组提供计算资源的独立隔离和弹性扩展能力,不同计算组间互不干扰,适用于多租户和多业务工作负载的场景。

  • 计算隔离:为不同的用户或工作负载提供独立的计算资源,以避免资源争用。
  • 弹性伸缩:计算组可以根据负载情况动态增加或减少计算节点,优化成本和性能。

核心优势

ByteHouse 计算组有如下优势:

  • 资源隔离与读写分离:支持读写分离,支持将数据导入与查询操作分配至不同计算组,同时可针对不同部门、业务查询实现资源隔离,避免业务查询间的相互干扰,提升运行稳定性。
  • 弹性扩缩容与成本优化:可根据业务需求弹性扩缩容,在保障性能的同时减少资源浪费,实现成本可控与资源最大化利用。
  • 支持 OLAP 和 ELT 类型计算组:您可按需选用对应类型,且能结合业务场景灵活自定义参数,既能满足 OLAP 分析场景对查询性能的优化需求,也能适配批处理场景下 ELT 任务的稳定性要求。
  • 自定义计算组参数:ByteHouse 提供了计算组固定参数模板,支持配置计算组参数,提升数据仓库的性能,ByteHouse 也支持添加自定义 SQL 参数,更好地满足特定业务场景的需求。
  • 细粒度权限管控:支持对计算组资源进行细粒度权限控制,满足不同角色的资源使用权限管理要求。
  • 灵活规格选择:您可按需选择 S、M、L、XL 规格的计算组。创建完成后,您可根据实际 CPU 或 Memory 负载情况,参考编辑计算组,手动调整计算组规格。如果当前集群的性能无法满足您的要求,可以通过工单联系 ByteHouse 对计算组进行定制化配置。

核心功能

自动启停

ByteHouse 云数仓计算组支持自动启停策略,帮助您节省资源成本。当计算组空闲超过设定的周期时,自动启停功能将自动关闭集群,在计算组关闭期间将不产生任何费用,节省成本,同时避免在低负载时产生不必要的资源浪费。当您有查询需求时,发送查询请求后,计算组会自动启动,唤起计算资源并进行查询。这种模式能够根据实际负载情况灵活调整资源使用,实现成本优化。

读写分离

ByteHouse 原生支持存储计算分离,写入和后台任务可以使用写入专用的计算组,前台查询使用读取专用的计算组,读写作业之间也不会影响,适用于读写繁忙型业务。

  • 写入:指定专属计算组负责写入型任务,确保数据的实时更新和准确性。写入任务通常对数据的一致性和可靠性要求较高,因此需要专门的计算资源来保障其高效执行。
  • 读取:指定专属计算组负责查询型任务,以满足大量并发的查询请求。查询任务往往对响应时间和数据的准确性有较高要求,通过专属的计算资源可以提供更快的查询速度和更稳定的服务质量。

定时弹性

ByteHouse 支持您根据业务需求灵活配置计算组的定时伸缩策略。您可通过定时任务设定时间周期,系统可根据计划自动触发弹性扩缩容,匹配不同时段的查询流量与工作负载。您可根据业务需求和资源使用预测,提前规划计算资源的扩展或收缩时间点,确保资源高效利用与及时响应。
借助 ByteHouse 的定时弹性能力,您将获得以下优势:

  • 成本优化:在业务低峰期自动缩减资源规模,显著降低计算成本。
  • 自动化运维:无需依赖外部工具或手动干预,即可实现资源的智能调度与配置调整,提升运维效率。

负载弹性

负载弹性是指 ByteHouse 计算组支持自动扩缩容,支持为 L 及以上规格的计算组通过动态调配弹性资源,依据预设策略自动调整弹性资源的规格,适配业务负载波动。弹性资源按实际使用量计费。
您可参考创建/编辑计算组中的操作启用负载弹性。启用后,计算组由基础资源弹性资源构成,当 CPU 或内存指标达到设定阈值后,系统自动对弹性资源进行扩缩容,触发机制如下:

  • 扩容触发机制:当 CPU 或内存任一指标连续 x 分钟(x 为用户设置的时长,单位为分钟)的平均值超过设定阈值(80% 或 90%)时,系统将自动扩容。
  • 缩容触发机制:弹性资源扩容后,当 CPU 或内存任一指标连续 x 分钟(x 为用户设置的时长,单位为分钟)的平均值低于设定阈值(40%)时,系统将自动缩容。

扩缩容时,负载弹性采用阶梯式调整策略,每次扩容/缩容 1 个规格的弹性资源:

  • 扩容范围为基础资源向上 3 个规格,例如,基础资源为 L 时,弹性资源可逐步扩容至 L、XL、2XL 规格。
  • 缩容时,弹性资源将从当前最高规格,逐步缩容至 0,即关闭弹性资源。
  • 当计算组的基础资源规格调整,弹性资源将在下一个扩容周期自动适配最新基础资源的规格,按新范围执行扩缩容操作。如果扩容后的计算组资源仍不满足您的业务需求,需要将弹性资源扩充到更高规格,您可先参考编辑计算组配置,提高基础资源的规格。

以下表格以基础资源为 L 规格的计算组为例,用户设置扩容与缩容触发时长均为 5 分钟,演示负载弹性功能:

  • 触发条件

    • 扩容:CPU / 内存负载超 80% 且持续 5 分钟。
    • 缩容:CPU / 内存负载低于 40% 且持续 5 分钟。
  • 扩容过程

    • L 规格计算组在连续 5 分钟的 CPU 负载均超过设定阈值 80%,系统将在按阶梯向上扩容,先扩容 1 个规格的弹性资源(即 L→L+L)。
    • 接下来 5 分钟中的 CPU 负载仍超过阈值,系统在继续扩容至更高规格(即 L+L→L+XL)。
    • 随后的 5 分钟中的 CPU 负载依旧超过阈值,系统将继续扩容(即 L+XL→L+2XL),此时达到最大规模 2XL,不再扩容。
    • 如果当前计算组资源仍不能满足您的业务需求,您可先参考编辑计算组配置调整基础资源的规格,弹性资源将在下一个扩容周期自动适配最新基础资源的规格并继续扩容。

    时间
    单位:分钟

    CPU 负载

    Memory 负载

    基础资源

    弹性资源

    是否扩缩容

    0

    10%

    30%

    L

    /

    不扩容

    1

    85%

    30%

    L

    /

    不扩容

    2

    85%

    30%

    L

    /

    不扩容

    3

    85%

    30%

    L

    /

    不扩容

    4

    85%

    30%

    L

    /

    不扩容

    5

    85%

    30%

    L

    /

    不扩容

    6

    85%

    30%

    L

    L

    扩容至 L

    7

    85%

    30%

    L

    L

    不扩容

    8

    85%

    40%

    L

    L

    不扩容

    9

    85%

    40%

    L

    L

    不扩容

    10

    85%

    40%

    L

    L

    不扩容

    11

    85%

    40%

    L

    L

    不扩容

    12

    85%

    40%

    L

    XL

    扩容至 XL

    13

    85%

    40%

    L

    XL

    不扩容

    14

    85%

    40%

    L

    XL

    不扩容

    15

    85%

    40%

    L

    XL

    不扩容

    16

    85%

    40%

    L

    XL

    不扩容

    17

    85%

    40%

    L

    XL

    不扩容

    18

    85%

    40%

    L

    2XL

    扩容至 2XL

  • 缩容过程

    • 在业务负载低谷期,连续 5 分钟的 CPU 负载均低于设定阈值 40%,系统将从当前最大规格(2XL)向下缩容,先收缩 1 个规格的弹性资源(即 L+2XL→L+XL)。
    • 接下来 5 分钟中的 CPU 负载仍低于阈值,系统将继续收缩至更低规格(即 L+XL→L+L)。
    • 随后的 5 分钟中的 CPU 负载依旧低于阈值,系统将继续收缩(即 L+L→L),此时弹性资源为 0,计算组仅保留基础资源,不再缩容。

    时间

    CPU 负载

    Memory 负载

    基础资源

    弹性资源

    是否扩缩容

    0

    60%

    60%

    L

    2XL

    不缩容

    1

    30%

    40%

    L

    2XL

    不缩容

    2

    30%

    40%

    L

    2XL

    不缩容

    3

    30%

    40%

    L

    2XL

    不缩容

    4

    30%

    40%

    L

    2XL

    不缩容

    5

    30%

    40%

    L

    2XL

    不缩容

    6

    30%

    40%

    L

    XL

    缩容到 XL

    7

    30%

    40%

    L

    XL

    不缩容

    8

    30%

    40%

    L

    XL

    不缩容

    9

    30%

    40%

    L

    XL

    不缩容

    10

    30%

    40%

    L

    XL

    不缩容

    11

    30%

    40%

    L

    XL

    不缩容

    12

    30%

    40%

    L

    L

    缩容到 L

    13

    30%

    40%

    L

    L

    不缩容

    14

    30%

    40%

    L

    L

    不缩容

    15

    30%

    40%

    L

    L

    不缩容

    16

    30%

    40%

    L

    L

    不缩容

    17

    30%

    40%

    L

    L

    不缩容

    18

    30%

    40%

    L

    /

    关闭弹性资源

潮汐集群

潮汐集群(Tidal Cluster/Multiple Cluster)是 ByteHouse 面向高并发查询场景提供的横向弹性扩缩容能力。开启后,系统可根据计算组的负载情况,在同一计算组内增加或释放计算集群(Cluster),并将查询请求分发至不同计算集群执行,从而提升计算组的并发请求承载能力。
在未开启潮汐集群时,每个计算组只包含一个计算集群(Cluster);开启潮汐集群后,同一计算组可同时包含一个基础计算集群和若干个按需增加的潮汐计算集群

  • 基础计算集群:计算组中默认存在且持续运行的计算集群,按照您为计算组选择的规格提供基础计算资源。
  • 潮汐计算集群:业务高峰期间在同一计算组内按需增加、业务回落后自动回收的计算集群,用于补充高并发场景下的计算能力。

潮汐集群功能通过动态调整同一计算组内的计算集群数量,提高高并发点查场景的并发承载能力。适用于高并发、中小型查询以及点查场景。对于低并发但单条查询计算量较大的场景,建议调整计算组规格或使用负载弹性功能。

说明

横向扩容出来的每个潮汐计算集群,均采用与基础计算集群完全相同的规格,包括计算资源本地盘(缓存)容量。例如,若您为计算组选择的规格为 L(对应本地盘容量为 200 GB),则触发横向扩容后新增的潮汐计算集群同样为 L 规格,并同步配备 200 GB 的本地盘。

计费说明

  • 基础计算集群:即创建计算组时由您选择的计算资源以及本地盘规格,仍按照原付费模式(包年包月/按量计费)来计费。
  • 潮汐计算集群:计算组按需自动横向扩容的计算资源和本地盘资源。计算公式:潮汐计算集群费用 = 实际扩容计算资源量(CU*小时) * 计算资源按量单价 + 实际扩容本地盘容量(GiB*小时)* 本地盘存储资源按量单价,具体资源单价请参见规格及定价

适用场景

当您的业务存在明显的潮汐型访问特征,且高峰时段主要体现为高并发点查压力时,可启用潮汐集群能力。相比单纯提升基础规格,潮汐集群更适合在高峰时段临时补充并发处理能力,在兼顾查询稳定性的同时减少长期闲置资源。

  • 业务在特定时段出现明显流量高峰,且高峰持续时间有限。
  • 核心压力来自高并发点查,请求量会在短时间内集中放大。
  • 您希望在保留基础计算集群稳定承载能力的同时,通过额外集群应对突发并发。

负载弹性的区别:

对比项

潮汐集群

负载弹性

扩展方式

横向增加计算集群

纵向增加单个计算集群的计算资源

主要目标

提高并发量和总体吞吐

为复杂查询提供更多 CPU、内存

典型场景

高并发点查、中小型查询

大型查询、批处理、资源密集型任务

对单条查询的帮助

通常有限

通常更加直接

是否可以同时开启

不支持同时开启

不支持同时开启

前提条件

开启潮汐集群前,您的计算组需满足以下条件:

  • L 规格(32 核)及以上 的计算组支持开启潮汐集群。
  • 开启前需要先为当前租户购买 专属 Server,详情参见专属 Server
  • 潮汐集群与 负载弹性 不能同时启用;若当前计算组已启用负载弹性,需要先关闭后再配置潮汐集群。

工作机制

启用潮汐集群后,同一计算组内将由一个基础计算集群和若干个可按需增加的潮汐计算集群共同承载业务请求。系统会根据您配置的扩容与缩容检测时间持续检测业务负载,并在满足条件时自动调整潮汐计算集群的数量,以适配高峰与低谷期间的并发差异。
在业务高峰期,系统可在同一计算组内自动增加潮汐计算集群,分担基础计算集群的并发压力;业务回落后,系统会回收不再需要的潮汐计算集群。该机制通过横向调整计算集群数量提升并发承载能力。

Image

开启与配置潮汐集群

您可在创建/编辑计算组流程中开启或配置潮汐集群,展开页面中的"高级配置"区域并勾选"潮汐集群"即可开启该能力。开启后可配置以下参数:

  • 最大集群数量:设置该计算组可增加的潮汐计算集群上限,最多支持增加 10 个。
  • 扩容条件:由"检测时长 + 负载阈值"共同决定。当计算组在指定时长内的负载持续高于阈值时,系统自动增加潮汐计算集群。
    • 检测时长:可自定义,最低支持 1 分钟。
    • 负载阈值:可选( > 80%或者> 90% ),超过阈值时触发扩容。
  • 缩容条件:同样由"检测时长 + 负载阈值"共同决定。当计算组在指定时长内的负载持续低于阈值时,系统自动减少已弹出的潮汐计算集群。
    • 检测时长:可自定义,最低支持 5 分钟。
    • 负载阈值:不可选,和扩容条件的负载阈值相对应(分别是<40%和<50%),低于阈值时触发缩容。

新建计算组页面和编辑计算组页面中,"潮汐集群"相关配置项完全一致,您可以在新建计算组时直接开启并配置,也可以针对已有计算组随时调整。

计算组使用指引
最近更新时间:2026.09.07 17:13:00
这个页面对您有帮助吗?
有用
有用
无用
无用