2023 年 8 月 17 日,StarRocks 社区举办了云原生湖仓第二期 Meetup --“StarRocks 存算分离技术探索”,火山引擎云原生开源大数据平台 EMR 技术专家杜军令受邀进行了《火山引擎 EMR 在 StarRocks 成本优化上的思考》主题分享,并与其他与会嘉宾沟通探讨了 StarRocks 存算分离技术及应用实践等话题。本文总结了此次分享的关键内容和分享材料。
针对存算一体版本 StarRocks 在运维复杂度高、容错性要求严格、灵活性不足以及综合成本较高等方面的问题,火山引擎 EMR 基于 StarRocks 的存算分离版本,积极探索与实践,带来了以下显著优势:
- 更低的成本:通过将数据存储与计算分开,计算与存储可以独立扩展,有效降低了成本。
- 更好的弹性:分离后的计算节点可以独立扩展,从而大幅提高了 StarRocks 数据库的扩展性,使其能够更好地应对不断增长的数据负载。
- 更好的资源隔离:存储与计算分离使得用户可以一份数据多处计算,用户可以为每种业务分配独立的计算资源,之间互不干扰,但又共享数据,带来更好的资源隔离性。
- 提高可靠性:专用存储一般拥有更好的数据可靠性,这也有助于保障数据的安全性和稳定性。
目前,火山引擎EMR 基于 StarRocks 已经在旅游、在线教育和游戏等多个行业取得了广泛应用,证明了其在不同领域的可靠性和适用性。
未来,火山引擎EMR 将继续深化 StarRocks 的云原生化,实现读写分离,并充分利用 AI 技术进行自动优化,例如根据数据分布智能选择存储和计算资源。此外,引入数据热度分级存储的概念,将进一步降低冷数据存储成本。
以下为本场分享材料内容,其中涉及的功能均已在火山引擎EMR产品上线,欢迎大家开通使用。