克服 ClickHouse 运维难题:ByteHouse 水平扩容功能上线

大数据
前言

对于分析型数据库产品,通过增加服务节点实现集群水平扩容,并提升集群性能和容量,是运维的必要手段。

但是对于熟悉 ClickHouse 的工程师而言,听到“扩容”二字一定会头疼不已。开源 ClickHouse 的 MPP 架构导致扩容成本高,已是 ClickHouse 运维的核心痛点。

主要体现在:

  • 流程全手动,无数据可靠性保证。
  • 扩容期间性能开销大,通常需要暂停服务。

基于字节跳动内广泛的使用场景,ByteHouse 企业版基于开源社区 ClickHouse 进行了诸多优化,现已正式公测“水平扩容”功能。

如果将“ClickHouse”比作一辆汽车,那么此次ByteHouse升级则实现了扩容“手动挡”变“自动挡”,同时“自动档"过程中还能省油加速,使得扩容整体操作更顺滑流畅。

开源社区的实现方案

开源社区文档 中,社区工程师通常推荐使用“数据重分布”思路来解决扩容问题,但存在以下问题:

  • 新增节点后,手动提升新节点的导入权重,或暂时停止旧节点的数据导入,直至数据均衡。这种配置要求 Distributed 表的分片键(Sharding-key)设置为 random,对于设定了指定的 sharding-key 的表,无法采用这种模式。此外,如果存量数据很大,通过该方式实现均衡非常缓慢,可能花费数天乃至数个月才能追平。
  • 手动在节点之间移动分区,使节点间均衡。该方式需要大表均已设置比较合理的分区键(Partition Key),并且分片键也只能为 Random,并且需要手动计算分区的移动目标节点。
  • 使用 ClickHouse Copier或 Insert Into Select 方式,将现存表全部重新插入实现均衡。该方式开销非常高,将占用大量的 CPU / 存储 IO / 网络 IO 资源。

此外,不管是哪种方式,都需要用户手动在新节点复制元数据、校验数据,拼装各环节流程,因此被称为“手动挡”。

ByteHouse 的优化方案

在字节跳动内部,业务的快速增长带来集群规划性能不足、亟需扩容的问题。ByteHouse 对内主要支撑数据看板、用户行为分析性等业务模块,因此对服务持续在线、性能迅速提升要求高,并且用户表的表结构也异常丰富。因此,社区提供的方案均不能满足字节内部业务诉求。

基于以上背景,ByteHouse 自研集群扩容能力,解决自动化流程的问题,也为用户提供了性能开销更低的扩容方式。

具体我们通过数据库引擎优化和操作界面优化两方面来实现。

数据库引擎优化

ByteHouse 的数据库引擎自研 Alter Table...Resharding命令,将一张表以分区的粒度进行重分布到另一张表。该命令支持两种方式:

  • 重分布到其他集群的另一张表
  • 重分布到本集群的另一张表

命令格式如下:

alter table <db>.<table> resharding partition <partition_expr> with <sharding_expr> to shard [shard_list]

通过该命令,可以实现提交从源表扩容到目标表的任务,该任务将实现 Split - Fetch,在原表拆分 Part,目标表拉取 Part,实现扩容。

picture.image

具体操作步骤如下:

  1. 对于要扩容的表 table,新建目标表,如 table1_new;
  2. 提交 Alter Table table1 Resharding Partition <partition_expr> with <sharding_expr> to table [table1_new_list];提交的任务会被存储到 ZooKeeper 上,后台线程负责调度执行;
  3. 所有提交的任务逐个开始执行。每个任务首先执行 Part 拆分,将一个 Part 根据 Sharding-key 拆分为 N 份(N 为扩容后的分片数);
  4. Part 拆分结束后,将 Part 信息发布到对应的分片上,对应不同分片上的目标表 table1_new 会进入 FETCHING 状态,开始拉取 Part;
  5. 等待这些 Part 被拉取完成,然后开始执行下一个任务,直至一张表的所有 Part 都被重分布完成

在一张表完成后,可以进行校验数据,删除旧表(table1),重命名新表(table1_new -> table1)。实现了一张表的扩容。

扩容全程可以通过系统表 system.reshard_partition追踪进度,取得状态。

这种扩容方式相比社区推荐的方式,有以下优势:

  1. 扩容的适应性好,对于是否设置分片键、分区键,均无硬性要求,都可以进行扩容。
  2. 性能损耗小。整个重分布过程为一个旁路计算任务,开销远低于insert into select 全局数据重新插入的方式。
  3. 执行过程中,数据保持可查询,下游数据看板、数据分析等服务不用暂停。目前在扩容过程中,ByteHouse暂时不支持写入。但就原理而言,扩容进度90%前都可写入,只需要最后阶段一次性 Resharding 在扩容任务执行过程中新写入的 Part 即可。因此,ByteHouse未来功能也有继续提升的空间。

操作界面优化

ByteHouse 数据库实现了 SQL 的底层能力进行数据重分布,实现了开销更低、适应性更强的重分布能力,但对于普通用户而言仍有使用门槛。

因此 ByteHouse 在控制台也支持水平扩容功能,组装底层能力,实现产品化。

通过 ByteHouse 控制台,可通过以下步骤完成集群的水平扩容:

  1. 在集群列表/详情页选择“更改配置”,选择“水平更配”。

picture.image

  1. 用户选择集群更配后节点数,支持增加节点(水平扩容),也支持减少节点(水平缩容);

  2. 可在扩容前勾选“完成后自动重分布”,也可不勾选,在扩容后再手动重分布;如果勾选“自动重分布”,则需要选择需要在扩容后立即重分布的表。

  3. 界面会给出预估扩容时间。用户可以根据实际情况,对下游业务发出扩容公告。

  4. 提交扩容任务,集群进入“运维任务中”状态。后台执行两阶段任务:

    1. 阶段1,新增节点。实际在进行新节点的初始化,并在新节点上新建元数据;
    2. 阶段2,集群节点完成增加后,则开始重分布,可以查看每张表的重分布进度。
  5. 上述步骤完成,集群恢复“运行中”状态。

通过界面化操作,ByteHouse 给用户的扩容流程带来了全新的便利:

  • 全流程自动化,不再需要自行编写脚本。
  • 也开放一小部分手动空间。例如,在扩容前可选立即重分布的表,对于剩余的表,可在扩容后再选择时间重分布任务,适应一些希望在业务低峰时扩容大表,进一步降低大表只读带来的影响。
  • 包含容错处理,自动校验数据,流程便利可靠。
总结

ByteHouse 团队通过自研“水平扩容”能力,实现了数据库底层与界面支持数据重分布。相比于开源社区的方式,ByteHouse 的数据重分布有以下优势:

  • 低 CPU / IO 开销,数据重分布期间可读;
  • 全程自动化,界面化;
  • 不依赖其他外置工具,在 ByteHouse 产品内闭环;

目前,水平扩容功能现已在 ByteHouse 企业版公测上线,同时支持私有化部署与火山引擎版本,欢迎体验。

点击跳转【云原生数据仓库ByteHouse】了解更多

378
1
1
1
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论