You need to enable JavaScript to run this app.
技术解析

技术解析

Copy page
Download PDF
技术解析
火山引擎正式发布企业版 ClickHouse —— ByteHouse
Copy page
Download PDF
火山引擎正式发布企业版 ClickHouse —— ByteHouse
ClickHouse 的发展

近十年以来,交互式分析领域百花齐放,大量解决方案随着大数据技术升级而涌现,但尚未有产品达到类似 Oracle 和 MySQL 一样在 OLTP(Online Transaction Processing)领域中领先的地位。其中,ClickHouse 作为一款 PB 量级的交互式分析数据库,最早是由号称“俄罗斯 Google ”的 Yandex 公司开发,并很快作为世界第二大网络引擎的流量分析平台 Yandex.Metrica(同类产品包括 Google Analytics、友盟统计)的核心查询引擎。

综合来说,ClickHouse 作为交互式分析数据库,有几大明显优势:

  • 多:大规模并行计算框架,超高吞吐的实时写入能力;

  • 快:极致的查询性能,尤其是在大宽表为主体的数据模型中;

  • 好:无侵入式架构,轻松集成到现有系统,可复用上下游数据开发工具;

  • 省:充分利用硬件资源,以极低的成本分析海量数据。

image

自 2016 年开源以来,ClickHouse 凭借其数倍于其他顶尖交互式分析数据库的极致性能,成为该领域的后起之秀,发展速度非常迅猛。截止 2021 年 8 月份,ClickHouse 已在 Github 上获得 18.2K Star,DB-Engines 排名近一年上升 16 位,并在国内获得字节跳动、快手、京东等互联网企业的生产级使用。

ClickHouse 与字节跳动的故事

近年来,字节跳动旗下抖音、今日头条等产品的成长速度之快引人注目。事实上,承载着这些产品持续高速增长的关键所在,是背后的中台化技术底座。无论是在算法、AI 还是数据分析等核心技术上,字节跳动在相关领域中一直保持着领先水平。

image

其中字节跳动对 ClickHouse 的选型和使用也是如此,从 2017 年最早的用户行为分析场景开始,逐渐开始支持广告业务、用户增长、A/B 测试、算法模型优化等大量内部场景,并演化成国内最大规模的 ClickHouse 使用者。

目前字节内部的 ClickHouse 节点总数超过 1 万 5 千个,管理总数据量超过600PB,最大的集群规模在 2400 余个节点。字节跳动内部广泛的业务增长分析很多都建立在 ClickHouse 为基础的查询引擎上。

在从 0 到 15000 节点的过程中,字节跳动的技术团队也遇到了很多开源 ClickHouse 的运维痛点和技术挑战。如多表关联查询、复杂嵌套子查询等复杂场景下,仍有性能不足、无法支持数据按条更新、实时数据写入的性能有限、集群扩展难度较高、运维复杂度高等问题。

对此,随着业务场景持续增多,字节 ClickHouse 技术团队通过自研的方式极大地丰富了 ClickHouse 可使用的场景,提高运维的人效,不仅解决了开源技术上手难和试错成本高的痛点,同时已经有足够能力来提供商业产品和企业级技术支持服务。

火山引擎正式发布 ByteHouse

过去,与开源社区用户的交流中,经常听到的反馈是 ClickHouse “上手容易,用好很难”,或由于没有经验而“想用不敢用”,这对于性能如此出众的存储引擎来说,不免遗憾。

现在,字节跳动旗下企业级技术服务平台火山引擎正式对外发布「ByteHouse」,为大家提供企业级技术支持服务。 作为 ClickHouse 企业版,ByteHouse 经过了字节跳动内部海量数据场景的打磨和极限的业务要求,更加符合企业高速增长诉求,其主要亮点如下:

  • 分布式查询增强:支持星型模型等复杂的多表关联场景,进一步去除数据冗余和数据准备成本;

  • 支持 Upsert 语义:既保留了 ClickHouse 高效的数据写入性能、又支持 Upsert(update or insert) 写入方式,帮助业务更简单地开发实时分析应用;

  • 实时数据引擎:支持实时数据高效写入,支持 exactly once 语义,写入性能远超原生架构;

  • 数据分级存储:冷热数据分级存储在 HDFS 和本地存储,自动化管理数据热度,自动转存不同存储,有效缓解业务存储空间持续增长的问题;

  • 企业级运维工具:自助运维能力,包括配置下发、指标告警、集群健康度监控、查询任务诊断、集群负载管理等功能,极大提高了运维人效。

作为国内 ClickHouse 技术的多年深度实践者,ByteHouse 现基于自研技术能力和超大规模使用经验,为更多的企业大数据团队带来新的选择和支持,以应对复杂多变的业务需求,高速增长的数据场景。未来,ByteHouse 将不断以字节跳动和外部最佳实践输出给行业用户,帮助企业更好地构建交互式大数据分析平台,并更广泛的与 ClickHouse 研发者社群共享经验,共同推动 ClickHouse 社区的发展。

ByteHouse 中文产品官网:https://bytehouse.cn/product/enterprise-clickhouse

Last updated: 2021.09.17 10:34:46