数据中台解决方案参考与将来发展方向
1、数据中台解决方案参考
各个行业的数据中台解决方案相似,只是涉及到的业务不一样,建设框架相似。下面以零售行业构建数据中台和网易构建的数据中台为例,说明构建数据中台的解决方案。框架
一、零售行业数据中台功能体系
二、网易数据中台功能体系
三、菜鸟数据中台功能体系
2、数据中台将来发展方向
纵观IT技术的发展历程,从企业管理系统的简单数据分析到传统企业数据仓库构建报表分析、再到大数据数据仓库构建及数据分析、再到基于数据湖的大数据数仓分析、再到如今的数据中台,针对企业数据价值提取,企业使用技术层出不穷,那么数据中台将来发展方向是什么样的呢?ide
由各个互联网企业使用数据中台的方式来看,将来数据中台发展会朝着如下几个方向发展。大数据
一、实时数据中台
目前构架的数据中台大多数偏离线,虽然咱们有一些实时任务,可是实时的任务比例仍是比较低,实时任务在数据复用、公共计算逻辑方面作的还不够好。将来数据中台的构建能够将离线构建数据中台的这套方法论应用到实时链路中,构建实时数据中台,这是将来数据中台的发展的一个重要方向。编码
二、云上数据中台
数据中台将来发展的另外一个重要方向就是基于云平台的数据中台,数据中台会拥抱k8s,实现弹性的资源调度,针对离线和在线的任务进行弹性调度,提高资源利用率,压缩成本。blog
三、自动化代码构建
如今咱们构建的数据中台数据开发人员有很大的时间花费在ETL SQL编码、ETL代码构建上面,将来数据中台的实现能够朝着自动化代码构建和生成方向发展,也可让非技术人员经过一些可视化操做完成自动任务的加工,临时表的加工,这个对于开发人员数据开发提高效率有很大帮助。element
四、智能元数据管理和自动分析
从数据分析的角度来看,企业中的数据分析通常由数据分析师来决定分析的维度,他们决定这些分析维度也是根据经验,也就是说数据分析是有必定的门槛的。例如:这个月商品销量上升跟哪些指标有关?跟广告投入有关?仍是跟用户分布有关?新用户贡献多?仍是回购用户多?咱们数据分析师根据经验知道分析哪些指标。资源
数据中台将来能够进行智能化的数据管理,能够经过设置那些表有哪些分析指标,这些指标有哪些可分析的维度,基于数据中台构建的数据管理平台,当用户提供一个指标时,平台马上呈现当前指标可分析的维度,甚至能够在对应维度上进行自动分析。开发
例如:我是一个自行车销售商,我发现本月自行车销售额变的很是高,那么为何本月销售额边的高?这时咱们就能够从数据中台调出销售额可分析的维度,好比:地理、时间、品牌、天气、渠道、价格等,而且能够结合这些维度进行销售额分析。分析结果咱们发现本月天气晴天多了,自行车出行多,致使销售额增长。这样就不须要咱们根据经验判断销售额到底和哪些维度有关。数据分析