更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
2022 年 10 月,字节跳动 BitSail 数据引擎正式开源。同期,社区推出 Contributor 激励计划第一期,目前已有 21 位外部开发者为 BitSail 社区做出贡献,成为了首批 BitSail Contributor。
江海的广阔是由每一滴水珠构成的,BitSail 社区永远欢迎每一位开发者的加入。我们推出本档“对话 BitSail Contributor”栏目,是想用自己的方式为每一位 Contributor 留下与 BitSail 紧密相关的独立记录。正因为有你们、有今后更多的 Contributor 存在,BitSail 才能像起名初衷一样,在数据的海洋里以代码做船帆,向无边际的远方勇敢航行。
“BitSail 为我的社区开发之路提供了很大的动力” , 今天的这位 Contributor 在贡献过程中有着怎样的心得?她对 BitSail 社区的未来发展有着什么样的期待?接下来就让我们一起听听她怎么说~
(PS:本栏目 Contributor 文章排序无前后、贡献大小之分,按内容提交顺序进行推送~~)
认领了 issue :
1. https://github.com/bytedance/bitsail/issues/258
优化了 BitSail Kudu 模块 Row Data 解析功能,通过 runtime context 来解析 Row Data
2.https://github.com/bytedance/bitsail/issues/417
完善了 BitSail 通用字段类型检测及转化的部分功能,主要包括:
1.完善 BitSail 通用字段类型检测过程中的异常信息校验及输出
2.完善 MongoBD 字段类型检测的单测功能
22 年 11 月 BitSail 开源并且相关同学组织了分享活动,听了开发同学的分享之后了解到 BitSail 的功能定位是支持多种异构数据源之间的数据同步并提供了离线,实时,增量及全量场景下全域数据集成方案,实现了流批一体湖仓一体架构,并行度计算异常数据检测阈值设定等功能是目前业绩较为领先及完善的数据集成方案,由此引起了我对其具体实现的好奇并开始了我的 BitSail 学习之旅。
经过一段时间的学习研究发现 BitSail 项目源代码质量很高,代码规范及 CICD 测试流程完善,基于 Flink 引擎实现了流批一体湖仓一体架构,无论是代码设计还是实现方案对于大数据领域的同学都有很高的学习价值。另外,BitSail 运营同学对于社区贡献也是积极的宣传,开发同学会耐心解答我们遇到的问题。以上都对我的社区开发之路提供了很大的动力。
加入 BitSail 社区之后发现社区很完善,无论是代码规范还是 CICD 测试流程都比较完善,并且在进行活跃的迭代。BitSail 运营同学和开发同学都会对新加入社区的同学提供帮助解决我们遇到的问题。
希望 BitSail 能够不断推出社区活动保持社区的活跃度,功能方面希望尽快落地 Local Engine 提高简单场景的资源利用率,统一 CDC 数据入湖的解决方案,支持 K8S 云原生,开箱即用拓展 BitSail 的使用场景。
持续关注,更多“对话 BitSail Contributor 内容”正在路上~~
加入社群,获取更多精彩!
了解更多 BitSail 信息⬇⬇
⭐️ Star 不迷路(BitSail 代码仓库):https://github.com/bytedance/bitsail
提交问题和建议:https://github.com/bytedance/bitsail/issues
贡献代码:https://github.com/bytedance/bitsail/pulls
BitSail 官网:https://bytedance.github.io/bitsail/zh/