更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群Sink：数据写入组件的生命周期管理，主要负责和框架的交互，构架作业，它不参与作业真正的执行。Writer：负责将接收到的数据写到外部存储。WriterCommitter(可选)：对数据进行提交操作，来完成两阶段提交的操作；实现exactly-once的语义。开发者首先需要创建类，实现接口，主要负责数据写入组件的生

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 本文将主要介绍负责数据读取的组件SourceReader：每个SourceReader都在独立的线程中执行，只要我们保证SourceSplitCoordinator分配给不同SourceReader的切片没有交集，在SourceReader的执行周期中，我们就可以不考虑任何有关并发的细节。这里需要完成和数据源访问

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群2022 年 10 月，字节跳动 BitSail 数据引擎正式开源。同期，社区推出 Contributor 激励计划第一期，目前已有 21 位外部开发者为 BitSail 社区做出贡献，成为了首批 BitSail Contributor。江海的广阔是由每一滴水珠构成的，BitSail 社区永远欢迎每一位开发者的加入

BitSail 是字节跳动自研的数据集成产品，支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下全域数据集成解决方案。本系列聚焦 BitSail Connector 开发模块，为大家带来详细全面的开发方法与场景示例，本篇将主要介绍 Source 接口部分。持续关注，BitSail Connector 开发详解将分为四篇呈现。BitSail Connector 开发详解系列一：Sou

2022年10月，字节跳动BitSail数据引擎正式开源。同期，社区推出Contributor激励计划第一期，目前已有13位外部开发者为BitSail社区做出贡献，成为了首批BitSail Contributor。江海的广阔是由每一滴水珠构成的，BitSail社区永远欢迎每一位开发者的加入。我们推出本档“对话BitSail Contributor”栏目，是想用自己的方式为每一位Contributo

2022 年 10 月，字节跳动 BitSail 数据引擎正式开源。同期，社区推出 Contributor 激励计划第一期，目前已有 12 位开发者为 BitSail 社区做出贡献，成为了首批 BitSail Contributor。江海的广阔是由每一滴水珠构成的，BitSail 社区永远欢迎每一位开发者的加入，我们也想用自己的方式将大家的贡献和心路历程记录下来，所以推出了本档“对话 BitSai

本 Quick Guide 面向 BitSail 新手入门使用人员，从源码编译、产物结构、如何提交作业、实机演示等多方面带领大家迅速入门 BitSail，从 0 到 1 了解并完成 BitSail 基础构建。BitSail 在项目中内置了编译脚本 build.sh，存放在项目根目录中。新下载的用户可以直接该脚本进行编译，编译成功后可以在目录：bitsail-dist/target/bitsail-

近期，BitSail 社区发布了 Contributor 激励计划第一期，包含众多 issue，吸引了很多热衷开源的小伙伴的加入，详情可查看👉https://mp.weixin.qq.com/s/GkGs-EqTV-szvzndMYrG1g为了扩展 BitSail 的使用场景、适配用户的需求，BitSail 社区新增了十余 issue 来优化 BitSail 的功能。这次的 issue 包含了类

本文面向BitSail的Connector开发人员，通过开发者的角度全面的阐述开发一个完整Connector的全流程，快速上手Connector开发。首先开发者需要通过git下载最新代码到本地，并导入到IDE中。同时创建自己的工作分支，使用该分支开发自己的Connector。项目地址：https://github.com/bytedance/bitsail.git。项目结构如下：BitSail 是

BitSail数据集成引擎是字节跳动数据平台的首个开源项目（GitHub：https://github.com/bytedance/bitsail），支持多种异构数据源间的数据同步，并提供离线、实时、全量、增量场景下的全域数据集成解决方案，目前服务于字节内部几乎所有业务线，包括抖音、今日头条等，经过了大规模的企业级场景验证，每日数据集成任务20万+，传输数据100万亿行+。，同时也支撑了火山引擎多