各位好，笔者是一名银行业的科技类员工，从2021年底开始接触实时技术，最开始实时数据加工模式是“端到端”的烟囱式开发，经过一年多的实时需求开发积累，发现存在诸多问题，比如：只支持增量计算、基础ETL操作重复开发、中间结果无法持久化。伴随着湖仓技术的不断发展，公司在2023年启动对流式湖仓的探索，笔者有幸参与其中，希望分享下项目开发经验以及个人技术成长心得。在数字化转型驱动下，数字资源价值加速释放，