活动预告|火山引擎 VeDI 数据中台架构剖析与方案分享

技术

点击上方👆蓝字关注我们!

picture.image

数据中台可以解决企业重复造轮子的问题。要构建一套数据中台服务于企业内部和外部运营,需要有成熟的数据中台建设方法论作为指导。数据中台在字节跳动内部已经有了多年的实践,并且已通过火山引擎数智平台 VeDI 对外输出,服务于多行业客户。

本期分享将聚焦字节跳动数据中台建设经验,在存算分离、湖仓一体、Serverless 等技术发展趋势下,从企业数仓架构选择、数据湖解决方案与应用实践,以及一站式数据治理等角度,为企业构建自身数据中台提供思路和启发

picture.image

《火山引擎一站式数据治理解决方案与业务实践》

  • 火山引擎DataLeap资深产品经理 夏志豪

在字节跳动业务持续高速发展的背景下,如何进行高效、有效的数据治理是一个值得探讨的议题。区别与传统的数据治理经验,我们正在探索如何通过产品驱动用户自治,思考如何由传统的民主集中式治理升级为分布式用户自治模式,进而充分提高治理效率,发挥每个人的能动性。本次内容主要探讨新的数据治理解决方案,具体包括:

  • 字节数据治理的背景与机遇
  • 分布式的理解与落地
  • 分布式数据自治的架构体系分享

《解读火山引擎 EMR Stateless 创新理念和业务价值》

  • 火山引擎 EMR 资深产品经理 林飞

数据湖的出现是为了解决传统数据仓库和数据集市所面临的问题:避免原始数据丢失从而选择了保存原始数据本身,并且对建设的数据集市与数据存储的元数据有一致性。随着云上对象存储的普及,Hudi、Iceberg 等数据湖格式的成熟,由EMR演化的数据湖产品具备了推广的条件。本次主要分享:

  • 数据湖架构演进
  • 火山云数据湖发展历程与理念
  • 火山云原生数据湖解决方案与创新点

《湖仓一体架构在LAS服务的探索与实践》

  • 火山引擎 LAS 资深研发工程师 陈亚雷

随着业务数据规模和计算场景的复杂度提升,传统数仓架构存在的数据和架构冗余问题愈发严重,影响业务开发效率的同时,也带来极大的运维成本。基于 Hudi、Iceberg 等技术实现的湖仓架构凭借其批流一体、存算分离和对多种计算范式的支持逐渐成为企业数仓架构选型的热点。

本次主要分享:

字节跳动基于开源 Hudi 增强的数据湖内核优化剖析及服务化设计实践,目前该能力已经通过火山引擎 LAS(LakeHouse Analytics Service) 面向开发者输出。具体包括:

  • LAS 数据湖内核优化剖析
  • LAS 服务化设计与实现
  • LAS 在字节跳动内部的业务实践

报名方式

picture.image

扫码入群,观看直播

18
0
0
0
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论