ByteHouse 云数仓版为您提供计算组本地盘功能,用于承担数据写入时的暂存区,以及数据读取时的缓存区。
对重复查询、热点数据访问和日志分析等场景,本地盘可以减少远端读取,提高查询稳定性和响应速度。
在用户查询、日志分析等场景中,常常出现本地缓存不足会导致性能严重下降,甚至无法查出结果。为避免此问题,ByteHouse支持为计算组提供本地盘来存储热点数据,并在计算组扩缩容时对本地盘进行同步扩缩容。
本地盘总容量随计算组规格变化。不同规格对应的本地盘最小容量、推荐容量和调整步长如下表所示,具体可配置范围以控制台显示为准。
计算组规格 | CPU | 内存 | 最小容量(GB) | 推荐容量(GB) | 调整步长(GB) |
|---|---|---|---|---|---|
M | 16 核 | 64 GB | 200 | 200 | 100 |
L | 32 核 | 128 GB | 200 | 200 | 100 |
XL | 64 核 | 256 GB | 400 | 400 | 200 |
XXL | 128 核 | 512 GB | 800 | 800 | 400 |
3XL | 192 核 | 768 GB | 1200 | 1200 | 600 |
4XL | 256 核 | 1024 GB | 1600 | 1600 | 800 |
6XL | 384 核 | 1536 GB | 2400 | 2400 | 1200 |
10XL | 640 核 | 2560 GB | 4000 | 4000 | 2000 |
计算组规格 | CPU | 内存 | 最小容量(GB) | 推荐容量(GB) | 调整步长(GB) |
|---|---|---|---|---|---|
XL_PLUS | 64 核 | 512 GB | 400 | 1000 | 200 |
XXL_PLUS | 128 核 | 1024 GB | 800 | 2000 | 400 |
3XL_PLUS | 192 核 | 1536 GB | 1200 | 3000 | 600 |
4XL_PLUS | 256 核 | 2048 GB | 1600 | 4000 | 800 |
6XL_PLUS | 384 核 | 3072 GB | 2400 | 6000 | 1200 |
10XL_PLUS | 640 核 | 5120 GB | 4000 | 10000 | 2000 |
示例:通用型 XL 计算组的本地盘推荐容量为 400 GB。将计算组扩容至 XXL 后,本地盘推荐容量随计算组规格增加至 800 GB;将计算组缩容回 XL 后,本地盘推荐容量相应减少至 400 GB。
计算组规格不变时,扩大本地盘容量不会影响已有缓存。
警告
计算组规格不变时,缩小本地盘容量会清理已有缓存。缓存重新构建期间,查询性能可能下降,请谨慎操作。
示例:某计算组当前的本地盘容量为 800 GB。在计算组规格不变的情况下,将本地盘容量缩小至 400 GB 后,已有缓存会被清理。缓存重新构建期间,部分查询需要重新从远端存储读取数据,查询性能可能暂时下降。
新建计算组时,本地盘已默认开启。请按需配置容量,详细操作请参见创建/编辑计算组。
注意
建议本地盘容量大于需要经常查询的热数据大小。
容量不足时,热数据无法完全缓存,查询时需从远端存储重新加载,影响查询速度。
此外,缩容本地盘时已有缓存可能被清除,请在初始配置时合理规划容量,避免后续频繁调整带来的缓存失效问题。
用户可在计算组管理页面,本地盘列查看已配置的容量信息。
用户也可以在租户管理页面,计算组面板本地盘列查看已配置的容量信息。
用户也可以在计算组管理页面,向左滑动计算组页面的横向滚动条,找到本地盘列,单击本地盘列的去开启(或直接单击操作列的编辑按钮)按钮进行配置。
开启计算组本地盘后,您可配置缓存加载任务,将数据提前加载至缓存资源中,提高后续的查询速度,创建缓存加载任务的操作指导请参见缓存加载。
您可通过调整表 setting 参数,在表级别调整计算组本地盘 TTL。使用示例如下,使用时请使用实际数据库、表名称,并参考下述参数说明将 setting 参数值替换为实际参数值:
ALTER TABLE demo_db.demo_table MODIFY SETTING partition_time_key = 'toDate(time)', local_disk_cache_partition_ttl = '7d';
Setting 参数说明如下:
Setting 参数项 | 类型 | 配置说明 |
|---|---|---|
partition_time_key | String | 用于指定表 TTL 过滤时依赖的时间字段表达式,需设置为表的分区字段中代表时间的字段。
|
local_disk_cache_partition_ttl | String | 表 TTL 值,支持设置为 |
创建计算组本地盘后,您可以在租户管理 > 监控告警页面查看本地盘的监控指标数据。
当前支持的本地盘监控指标详情,以及通过火山引擎云监控创建监控告警的操作指导请参见监控告警。