文 | 洪剑、大滨 来自字节跳动数据平台开发套件团队字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建，其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中，每台服务器支持的Kafka Consumer数量有限，在每日百万级消息体量下，经常有长延时等问题，影响用户体验。在2020年底，我们针对Atlas的消息消费部分做了重构，将消息的消费和