伴随着云计算和数字化浪潮的推进，越来越多行业数据实时性的权重正在被加速提升，对企业而言，如果想要保证业务的持续发展，其底层数据库必须要能满足数据的实时性和高并发要求。
除此之外，在降本增效的大潮下，“高性价比”也成为企业选择一款数仓的重要因素。
那么，企业应该如何构建自己的实时数仓体系，并兼具性能、成本、运维等全部需求？
让我们把视线聚焦到数字广告行业，这家企业仅仅用了11天，在数据处理方面，就实现了效率提升40%、成本降低30%。 这就是数字化广告平台——布鲁肯。
01
业务背景
/ 实时数仓是广告业数据引擎的核心动力
作为一家数字化广告平台，布鲁肯覆盖全渠道自助式变现解决方案，为移动开发者提供增长和变现一体化的商业解决方案。
一方面，布鲁肯帮助媒体端（如电商平台、社媒网站等）获得更大的流量和广告收益，另一方面帮助广告主提供足够精准的广告投放策略，以提高产品曝光。
以APP开屏广告展示为例，开屏广告展现在人们眼中的时间仅需200ms，甚至是100ms。
在如此短时间内，上演的却是一个完整周期的广告模型—— 从打开时的接受用户数据，到基于用户数据生成对应的广告策略，最终再反馈到产品端进行前端展示。
而为这个复杂精密的实时数字广告模型提供核心动力的， 是布鲁肯的底层实时数据仓库， 在特定节日大促期间如618、双11等，底层的数据流转则更是会被以十倍、乃至百倍的要求提速。
02
业务痛点
/ 无法平衡的效率与成本
布鲁肯在全球拥有600多家DSP、代理平台和广告主伙伴， 底层数据系统一天的请求次数高达 150亿，数据流量超过2GB/s，广告日均点击20M+， 多样化场景、海量数据高并发的需求场景每时每刻都在布鲁肯上演。
数据体量大，场景多样，导致整体数据架构复杂的， 之前布鲁肯基于开源 ClickHouse自建系统， 其本身固有的列式存储模式，伴着业务发展，对应的硬件成本更在飞速飙升。
另外， ClickHouse本身虽然具备强大的分析和线性拓展能力，但在复杂查询等层面不擅长。
布鲁肯在构建实时数仓过程中主要面临问题：
● 海量数据下的高并发： 采集数据量大 ，数据流量超过2GB/s，并发处理要求高。
●
系统稳定性要求： 业务包含广告营销投流分析等，对于数据质量与稳定性要求高。
● 弹性扩容和降本增效： 资源需求随营销活动动态变化，比如618、双11等大促期间，数据量级骤增，性能要求更高，需要能根据实际业务需求，灵活调整资源配置 。
直观反映到企业经营层面：底层硬件以及数据库运维侧不断在投入更多的企业运营成本，但前端业务依然会出现“卡顿、用户请求反馈慢、投放策略优化不及时”等问题。
03
优化方案
/ 从ClickHouse到ByteHouse实时数仓解决方案
1. 选型历程：
关于数据库的选型工作在布鲁肯内部持续开展，调研产品包括Flink等国内诸多主流数据库产品，在相关业务场景的性能表现以及使用成本，未能满足要求。
从最开始选择ByteHouse到使用其进行生产，布鲁肯仅仅用了11天。 引入ByteHouse，对布鲁肯企业业务影响极小且成本极低。
2. 产品组合：
云原生数据仓库 ByteHouse （企业版）+Kafka
● Kafka集群： 用于流式数据的传输和处理，确保大规模数据在不同系统之间的高效传输和实时处理。
● ByteHouse集群： 作为核心的数据存储与处理平台，支持大规模数据的存储、查询和分析，支持高效处理实时数据和批量数据，提供快速的查询响应和复杂的分析能力。
3. 方案介绍：
基于ByteHouse+Kafka搭建一套高效、可靠、可扩展的实时数仓链路， 解决数据整合、实时处理、广告效果评估等问题，提升广告业务的整体运营效率，更好地为下游合作伙伴广告投放决策提供支持。
● 数据链路设计： 来源于广告终端的数据，进入Kafka集群，再经过ByteHouse内表和物化视图加工，同步到数据应用中，最终辅助广告主、广告平台等进行投放效果的评估、费用结算等。
● 生态兼容性： ByteHouse与Kafka具备很强适配性，为了更好地适配Kafka，ByteHouse内置增强型 Kafka引擎，为数据写入提供高性能保障。
● 扩展性： ByteHouse+Kafka均为分布式架构优势，让布鲁肯系统具备充分的灵活性，可以在分钟级别下完成全链路扩容，以便应对广告场景中常见的大促等流量峰高。
● 压缩成本： ByteHouse具备冷存储的能力，将热数据自动转存到冷存储的方式引入布鲁肯，有效缓解业务存储空间持续增长的问题。
4. 应用场景
以今年618大促为例。数字广告行业与电商等行业具备同样流量峰值点，底层服务器和数据库需要紧急扩容和定向监测运维来应对流量高峰。
ByteHouse与布鲁肯提前2周联合制定预案，包括如何扩容、紧急处理等。 在618大促期间，运维人员只需要点击扩容按键等简单操作，就能实现分钟级扩容。如果基于之前的开源产品，这类运维工作投入成本和工作量会是现在的几十乃至上百倍。
04
最终成效
/ 1个人力，降低企业30%成本
1. 扩展业务边界
“以618为例，我们之前只上了程序化竞价广告，像今年，我们包括其他的一些网站、社媒，以及品牌PDB投放我们也都可以支持， 相当于业务宽度更广了。”
——布鲁肯市场负责人张亚灵
2. 极致降本增效
“基本全线切到火山引擎之后， 我们的成本大概降低了30%， 在效率侧，我们评估提高了30%- 40% 左右，这两个一叠加，其实我觉得效率整体提高一半是有的。”
——布鲁肯市场负责人张亚灵
“其实在整个过程中，我们几乎没有提供过重的服务，除了部分参数和指标的调整确认，也就是一个研发接近20%、30%的人力投入， 对于布鲁肯来说，只投入1个人力就完成了接入和运维。”
——ByteHouse团队相关负责人
现阶段，布鲁肯的同款聚焦于 降本增效的实时数仓解决方案 已经上线。
点击「阅读原文」 即可获取清晰的方案设计和产品资料
往期推荐
点击阅读原文，获
取方案设计和产品资料
