实战分享|基于OLAP构建高性能湖仓一体引擎

大数据数据库ClickHouse

picture.image

在数字化转型的浪潮中,企业对数据处理能力的要求日益提高。

过去,数据湖和数据仓库分别拥有两套独立的管理体系,这导致维护成本高昂,研发周期漫长。为了加强数据端到端的链路整合, 构建一套低成本、高性能的数据湖仓一体分析能力成为越来越多企业的需求。

作为火山引擎推出的一款云原生数据仓库,ByteHouse基于ClickHouse技术路线优化和演进, 已具备实时数据分析、海量数据离线分析能力,便捷的弹性扩缩容、极致分析性能以及丰富的企业级特性,在金融、游戏、泛互等领域加速企业数字化转型。

为了进一步提升使用体验、降低运维成本,ByteHouse构建了高性能、功能全面的湖仓一体能力。

3月27日19:00, 来自火山引擎ByteHouse的技术专家聚焦OLAP的湖仓一体建设展开分享,深入探讨如何通过本地缓存热数据等手段实现性能提升。

/ 演讲介绍

ByteHouse目前深度集成了Hive/Iceberg/Paimon等主流数据湖格式,构建统一元数据访问层和数据读取接口。

为应对湖仓一体场景下远端存储访问的IO高延迟的挑战,通过本地缓存热数据、Parquet Reader改造、查询优化器结合统计信息优化执行计划等手段 查询性能整体提升5倍。

当前正探索基于物化视图实现查询加速和ELT任务, 以及通过联邦查询提供跨数据湖以及数仓的统一查询入口,推动企业数据架构向湖仓一体化演进。

/ 演讲提纲

● ByteHouse湖仓一体整体架构

● 多种数据湖数据源 (Parquet/Paimon/Iceberg)并行读取框架与向量化解码

● 湖仓联邦查询与物化视图演进

/ 听众收益

● 分享ByteHouse针对 数据湖查询场景 的性能优化

● 了解业务在ByteHouse 仓一体架构 的落地情况

/ 落地挑战和方案重点

● 构建统一元数据访问层,及时感知数据湖schema变更

● 针对数据湖存储IO高延迟,提升查询性能至接近ByteHouse内表性能

● 数据湖结合物化视图落地zero-ELT

点击卡片,立即预约直播!⬇️

picture.image

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论