前言:
近几年来数据中台概念大火,市面上掀起了一波建业务中台、数据中台热潮,那么数据中台到底是什么?它的出现能解决什么问题呢?首先数据中台的概念最早由阿里提出,自从阿里提出了“大中台,小前台”概念之后,数据中台这个概念火了起来,不少企业,无论是互联网企业还是传统企业纷纷搭建起了自家的数据中台,究竟数据中台有什么魅力,能让企业如此重视?本文主要从数据中台是什么、怎么做数据中台和为什么要做数据中台三个方面对这个问题进行了分析。
什么是数据中台:
广义的数据中台包括了数据技术,比如对海量数据进行采集、计算、存储、加工的一系列技术集合,数据中台包括数据模型,算法服务,数据产品,数据管理等等,和企业的业务有较强的关联性,是企业独有的且能复用的,比如企业自建的1000个基础模型,500个融合模型,1万个标签。它是企业业务和数据的沉淀,其不仅能降低重复建设,减少烟囱式协作的成本,也是差异化竞争优势所在。
如何构建数据中台:
(1)数据汇集
数据汇集是数据中台数据接入的入口。数据中台本身不产生数据,所有数据来自于业务系统、日志、文件、网络等,这些数据分散在不同的业务系统中,难以利用,很难产生业务价值。数据汇集是数据中台必须提供的核心工具,把各种异构网络、异构数据源的数据能够方便地采集到数据中台进行集中存储,为后续的加工建模做准备。数据汇集方式一般分为离线批量汇聚和实时采集。
(2)数据资产管理
数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示,以一种更直观的方式展现企业的数据资产,提升企业的数据意识。
(3)数据服务
数据服务体系就是把数据变为一种服务能力,通过数据服务让数据参与到业务,激活整个数据中台,数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的,中台产品可以带有一些标准服务,但是很难满足企业的服务诉求,大部分服务还是需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务,而是提供快速的服务生成能力以及服务的管控等功能。
(4)数据应用开发
数据开发是一整套数据加工以及加工过程管控的工具,数据开发模块主要是面向开发、分析人员,提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具,方便使用,提升效率,根据企业需要,在这一层可以通过一系列数据工具集快速构建各种数据应用,及时有效的提供给企业各部分使用。
(5)数据安全
建立健全的高效灵敏预警体系,通过对系统各模块完善监测机制,得到量化的数据,分析发现并预测潜在危机,及时上报,预警风险;提供数据访问黑/白名单设计,例如设可访问数据的IP段,若不在此IP段中将无法接触到数据资产;同时基于可视化操作灵活控制接口的停用和启用等操作,实现调用过程的自主可控;
建设中台的好处:
中台的目标是提升效能、数据化运营、更好支持业务发展和创新,是多领域、多部门、多系统的负责协同。中台是平台化的自然演进,这种演进带来“去中心化“的组织模式,突出对能力复用、协调控制的能力,以及业务创新的差异化构建能力。
是不是所有企业都应该去构建自己的中台:
关于是不是所有企业都应该是构建自己的数据中台呢?在我看来并不是,我们不能为了中台而中台,需要结合企业自身发展需要和基础信息化建设情况来定,我认为建设中台的几个必要条件:
(1)企业信息化基础建设良好;
(2)多年的数据资产沉淀,但数据相对分散,难以共用;
(3)前端业务需求多变,对数据依赖需求比较强烈,但数据和指标具有重叠性,从技术的视角更多的工作是需要类似积木式的自由组合和搭建;
(4)技术部门无法及时满足多变的业务需求。
工具支撑:
NBI数据分析平台(http://data.lihuisem.com)的初衷就是致力于提供简单、易用、低成本、快速上线的大数据可视化分析产品和服务,帮助企业提升数 据化运营能力
(1)数据准备:
(2)数据建模
(3)数据分析与数据报告制作
(4)发布