数据中台架构学习小结|社区征文
一、数据中台架构介绍
随着公司数据应用需求越来越复杂，原先技术架构已经不能满足业务的需求，需要从数据底层进行梳理形成公司数据中台为公司数据应用夯实基础。为此在2022年我主要学习数据中台架构搭建技术学习。在百度知道中对“数据中台”的解释为：“是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制”。
二、数据中台构建方法论
2.1 技术体系
技术体系是构建数据中台的基础支撑，对于技术体系而言包括两部分：大数据存储计算技术和数据中台工具技术组件。大数据存储计算技术包含：Hadoop、Spark、Flink、Clickhouse等技术，企业一般不会自己建设，只需要进行合理的选型即可。数据中台工具技术包含：数据汇集、数据资产管理、平台服务管理工具等相关技术。
2.2 数据体系
数据体系是指全企业的数据通过各种方式汇聚到数据中台，在数据中台中按照一定的建模方式进行加工处理，形成企业的数据资产体系。不同企业业务不同对应的数据不同，当然构建的数据体系内容也不同，但是建设的方法都是类似的。
2.3 服务体系
数据中台与大数据平台最主要的区别是数据中台中数据能方便的以服务化的方式支撑业务。服务体系是通过中台的服务组件能力，把数据变为一种服务能力。例如：客户微观画像系统、信用评估服务、风险预警服务等，让数据能够方便的参与到业务中去并为业务带去价值。
2.4 运营体系
运营体系是数据中台的守护者，通过运营体系保证整个中台的健康、持续运转。运营体系包含平台资源占用监控、数据质量监控、数据价值评估等，其目标是让中台持续健康运转，产生持续价值。
结合以上构架数据中台四大体系，企业数据中台建设大体可分为5个步骤,如图所示：
二、数据中台功能架构
数据中台总体架构图如下：
3.1 数据汇集
数据汇集是数据中台数据接入的入口，所有数据来自于业务系统、日志、文件、网络等，这些数据存储在不同的网络环境和存储平台，通过数据汇集工具可以将这些数据汇集到数据中台中。
3.2 数据开发
数据汇集到中台之后，数据都是按照原始状态堆砌在一起，业务无法使用，数据开发可以通过一整套数据加工及管理工具，将数据进行清洗处理。
3.3 数据体系
3.2.1 数据资产管理
通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解，数据资产管理是以企业全员更好理解的方式把企业数据展现给全企业人员。数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示。
3.2.2 数据服务体系
数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，数据服务体系是数据中台存在的价值所在。数据中台服务提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。
3.2.3 运营体系和安全管理
运营体系和安全管理是数据中台健康持续运转的基础。建设内容主要涉及企业资产管理和数据安全，使数据越用越多，越用越活。
三、数据中台技术的应用展望
随着企业信息化建设的不断推进，企业内部信息系统问也开始产生数据流通不畅等问题。
为此，需要分析企业当前数据问题产生的根源，以提高企业自身生产经营效率为目的，针对数据互联互通需求，研究适用于企业数据中台建设路径和总体架构。总体上企业的数据中台建设应考虑如下事项：
（1）数据中台是为了促进业务高效协同和数据深度融合的概念。数据中台是通过统一数据标准和接口标准实现数据归集，并通过冷热数据分离、逐级运算、微服务化调用等方式对前台业务数据进行处理并实时赋能业务流程的数据管理平台。
（2）数据中台建设和应用是对业务数据的运营管理活动，如何管理和使用数据中台，需要一定的管理体系来规范和约束。搭建制度、流程、标准、质量、安全等来规范数据的管理活动，是保障数据中俞可持续、常态化运行的基础。因此企业数据中台的建设需要要结合企业实际情况，形成适用于自身的建设的方法和路径，在数据中台的建设上应贯彻数据交换、数据存储、数据模型、数据服务为核心，以数据安全和数据监控为准则，以实现数据集成、互通为目的，搭建适合于企业业务需求的数据中台建设框架。在数据中台应用上，可以考虑在数据中台基础上实现企业业务流程一体化、资源共享化、建设集约化、服务规范化、体验便捷化的业务中台建设，真正实现企业上下游业务数据流的全面协同。