2023 年 1 月,ByConity 发布 beta 0.1.0 版本,将代码在 GitHub 上发布,为了让大家了解 ByConity 的查询性能,我们发布了 第一期 TPC-DS 测试活动,期间共有 10 个团队报名参加,最终回收测试结果 8 个。其中有团队不方便展示,就不公开详细内容啦。
测试团队 | 测试结果 | 部署方式 | 硬件配置 |
---|---|---|---|
唯品会数据平台 | 244.55秒 | 物理机 | 2 worker(48C, 256Gb) |
阿里云ck内核团队 | 957.17秒 | 物理机 | 24c96G*1 |
烽火数据 | 307.43秒 | 物理机 | 4 节点(40c, 256Gb, 4*7T stat 盘) |
展心展力 | 905.38秒 | 物理机 | 5台40核心 256G的 dell 服务器,使用100G的TPC数据 |
传音控股 | 109.05秒 | 物理机 | 8c32G*6 |
某零售 OLAP 团队 | 230550ms(3 reader) 182929ms(4 reader) 159446ms(5 reader) 143141ms(6 reader) 131621ms(7 reader) | 物理机 | 使用0.1.1.1版本ByConity rpm包进行部署的,每个组件都使用物理机器单独部署 并且测试了3~7个 read worker 的结果 |
某游戏数据团队 | 208秒 | Kubernetes | 4个节点,每个 worker 单独的节点 |
某云厂商 | 139.04秒 | 物理机 | 10 节点(8 台机器 64C250G 内存 100G 数据量) |
** 以上测试所使用数据集均为 100G*
活动结束后我们邀请了参与测试的同学进行了一次回访,收到有效反馈 7 个,让我们来看看大家的测试感受如何。
展心展力
参加本次测试的原因
开始参加这个测试也是想要了解 ByConity 的能力,想看看 ByConity 是否可以替代 ClickHouse。
参加本次测试的感受
测试流程还是比较顺畅的,社区有一个比较详细的教程介绍如何通过 Docker 来部署 ByConity。把 ByConity 部署以后,跑了 TPC-DS 数据,跟着文档基本上就可以完成测试,测试中遇到问题,沟通解决起来也比较顺畅。ByConity 的测试相比测试过的其他组件而言,要顺畅的多。其他开源组件测试最大的问题,就是出现问题后,不知道在哪里找到解决问题的方案。ByConity 这点就做的很好。
我们上手 ByConity 也是通过这个测试开始的。除了 TPC-DS 之外,我们还搭建场景进行了 demo 测试,主要用于搭建 OLAP 查询,实时监控,日志查询。我们把数据从 Kafka 导入 ByConity,通过我们自己开发的 OLAP WBE 服务连接 ByConity 进行可视化。 当时还是通过 docker 部署的,部分查询性能没有达到预期,也和社区进行了沟通反馈。
我们现在已经将 ByConity 部署在K8s 上,并借助 ByConity 的高性能优势提供了日志分析服务,后续我们将加大测试力度,将我们基于 CK 集群上的 OLAP 自主分析服务迁移到 ByConity。
传音控股
参加本次测试的原因
对 ByConity 引擎的存储分离架构及特性充满好奇,并验证在查询性能上相比 ClickHouse 存在的优劣势。
参加本次测试的感受
-
通过对 ByConity 基准测试查询指标来看,其性能表现比较优秀
-
ByConity 集群的搭建依赖 HDFS 集群,HDFS 是一个比较复杂的系统,需要专门的运维人员进行集群管理和维护
-
ByConity 集群搭建过程较为繁琐,学习成本较高
-
ByConity 集群依赖的组件较多,server、read worker 、write worker 等组件对机器配置要求较高
-
在进行 bitmap 交并差场景计算时,其查询性能和 ClickHouse 相差不大(由于时间原因,并未做到充分测试)
-
其它场景暂未进行
烽火数据
参加本次测试的原因
之前在 ClickHouse 的社区里了解到了 ByConity,发现咱们的架构和我们公司的需求很像,然后就打算研究研究,后面就先测试了一下性能。
参加本次测试的感受
ByConity 算是继承了 ClickHouse,并弥补了 ClickHouse 的一些不足,比如 join 分析等,还具备存算分离,读写分离等新特性,测试的结果也比较好的,尤其是一些多个表的 join。
阿里云 ck 内核团队
参加本次测试的原因
主要是抱着学习的态度,也确实收获满满。在得知 ByConity 开源之后一直有关注,也和 ByConity 团队进行过技术交流,字节团队内部有大规模使用的经验,遇到的大部分是性能相关的问题,我们在云上主要是场景问题。双方后续可以有更多的技术交流。
参加本次测试的感受
部署过程中组件太多了,不是内行玩不起来啊。
其他反馈
测试团队 | 参加本次测试的原因 | 参加本次测试的感受 |
---|---|---|
唯品会数据团队 | 测试 ByConity 的整体架构,性能和可以支持的场景。 | 整体上符合预期,并且对原生 ClickHouse 的特性做了很多增强,是非常好的平滑迁移产品。 |
某游戏数据团队 | OLAP 引擎调研,寻找适合 UBA 分析的 OLAP 引擎。 | 相比原生 ClickHouse,ByConity 在 join 性能,存算分离架构上有优势。 |
某零售 OLAP 团队 | 探索新的 OLAP 开源引擎,对 MPP 执行架构提升 ClickHouse 性能比较感兴趣。 | ClickHouse 引擎优秀的底层执行加上 MPP 架构和存算分离,让查询性能和弹性能力有了质的提升。 |
感谢参与本次活动的团队和测试同学给予的反馈和建议,也欢迎大家有新的反馈随时在社区提出交流。
在过去的一段时间中,社区根据大家的反馈进行了针对性的调整,Roadmap 也进行了更新,请继续关注。
Roadmap: https://github.com/ByConity/ByConity/issues/26
新活动邀请已开启
ByConity 正式发布开源 GA 0.1.0 版本之后,社区分享了 ByConity 在云上部署的方法:《ByConity 如何在 Kubernetes 上无感扩缩容》,之后收到很多用户反馈和建议,例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化,提供了更加容易上手的一键部署方式,邀请大家一起参与体验 “ByConity 快速部署有奖征集活动” ,并为大家准备了大奖!
活动已经正式发布,点击了解活动详情:【有奖征文】ByConity 云上快速部署体验有奖召集令