随着各行业数字化转型建设速度加快,在数据集成和系统整合方面,海量数据针对规模、流转效率、成本节约等方面的需求日益增长,对消息系统的要求也越来越高。
字节跳动内部业务的高速增长,对我们消息系统的支撑能力也提出了诸多挑战:
- 系统稳定性不够强,集群压力较大的情况下容易引起消息生产/消费延迟、Lag 积压甚至集群崩溃;
- 扩展性欠佳,因业务体量变化导致的集群伸缩需求,通常需要较长周期的扩容间隔,且容易造成机器资源浪费;
- 易运维性差,对于集群数据的 Balance 以及升级操作极易引起集群抖动和流量分布不均。
针对上述问题,火山引擎基于字节内部实践推出了自研消息中间件产品——云原生消息引擎 ( 简称 BMQ ) ,100% 兼容 Apache Kafka 协议,同时在高吞吐、低延迟、易用性、稳定性、可靠性、可扩展性、易运维性、高 SLA 保障上全面领先。云原生消息引擎(BMQ) 现已开启免费公测,欢迎申请试用!
云原生消息引擎(BMQ)
云原生消息引擎 ( BMQ ) 支持云原生全托管,高吞吐、低延迟、高可用、高可扩展性、高稳定性,定位为下一代分布式消息引擎服务,支持灵活动态扩缩容、流式数据处理等多种能力,提供企业级大数据量级的实时流数据处理能力,帮助用户构建数据处理的“中枢神经系统”,广泛适用于日志收集、数据聚合、在离线数据分析等业务场景。
产品优势
- 全托管免运维,全量兼容 Apache Kafka 协议,轻松迁移老业务
- 高吞吐,低延迟,轻松应对超大流量
- 存算分离新架构,存储支持无限扩展,系统稳定高可靠
- 云原生构建,极致弹性伸缩
- 企业级安全
- 丰富的应用场景和数据生态
应用场景
-
异步处理
- 业务入口系统 A 注册的信息需要同时传给下游不同子系统进行并行处理(如公司员工管理系统注册新员工账号之后,需要同步发送到通讯、邮件、OA等子系统),如果 A 系统同时以并行方式处理请求,则性能(并发量、吞吐量、响应时间)会有严重损耗。若引入 BMQ 消息系统,下游系统可异步读取信息,吞吐量和响应效率将大幅提升。
-
应用解耦
- 应用 A 发送消息到应用 B(如外卖平台订单系统与商家订单接收系统),若此时应用 B 突然故障,因为应用 A 与应用 B 的业务耦合,即使应用 B 随后恢复,依然会导致这条流程处理失败。针对此类场景,引入 BMQ 消息系统可解耦应用 A 与应用 B,减少整个闭环的故障率。
-
流量削峰
- 若同一时间有大量客户端请求应用服务(如商品秒杀场景),此时容易因请求流量不可控,而导致应用服务短时间无法及时处理,造成系统崩溃。引入BMQ消息系统后,可将高并发请求缓存至消息队列中逐一处理,保证了后端系统的稳定运行。
-
日志分析
- 在业务系统用户日志、运维监控系统日志、平台操作审计日志等日志分析场景,随着日志实时大量的产生,日志从采集系统到分析系统的中间过程需要进行日志存储和转发,BMQ 可以大量、持久地存储待处理的海量日志数据。
-
大数据 计算分析
- 类似日志分析场景,业务数据库 DB、日志文件、IoT 设备等源数据采集而来的数据,在流入大数据的流式处理进行数据仓库/数据湖构建前,数据流转存储的枢纽起着至关重要的作用。
客户案例
-
抖音——广告投放平台日志分析
- 通过 BMQ 存储广告投放平台的曝光日志,再由不同类型的埋点服务按照不同 Group 消费同一份曝光日志做各自的埋点处理,处理完毕后再统一生产数据到 BMQ 的埋点日志 Topic,待下游服务处理消费。BMQ 为业务提供了高吞吐、低延迟、快速扩缩容以及高 SLA 保障能力。
-
幸福里——大数据分析
- 通过结合火山引擎大数据开发套件与 Flink 流式计算引擎等产品,幸福里搭建了基于房产信息的实时大数据服务平台,满足用户查看实时房产变更、区域交易价格变动分析、新房购房决策推荐等用户需求。BMQ 为业务提供了基于云原生、存算分离的消息系统,并协同推进了整个大数据分析系统的架构升级。
长按识别二维码,了解更全产品信息
字节跳动自研云原生消息引擎,欢迎点击申请使用!