数据中台构建方法论
2023-01-12 11:09:43 2 举报AI智能生成
数据中台构建方法论
作者其他创作
大纲/内容
数据中台出现背景
随着企业的子公司、业务线的增多，形成了很多分散、独立、烟囱式、纵向的小数仓。举例：阿里巴巴集团，淘宝、天猫、聚划算、1688、阿里妈妈、蚂蚁金服、阿里云、菜鸟... ...
很多独立的烟囱式的小数仓带来的问题
效率低下
数据研发效率低下
数据发现效率低下
数据取数效率低下
数据质量问题
集群资源成本大
数据口径不一致
数据安全问题
为什么构建数据中台？
烟囱式开发模式
数据管理能力缺失
缺少全链路的数据治理
成本粗放式管理
数据使用不灵活
总结：以上企业数字化建设过程中各种问题总结有如下三点：流程规范缺失、缺少平台工具支撑、组织架构分散
解决：需要构建一套整合企业数据的机制，这套机制可以规范、快速的形成数据服务能力，为企业精细化运营、企业决策提供支撑，为业务赋能，这套机制就是数据中台
数据中台
什么是数据中台
数据中台是一种“让企业数据用起来”的机制，持续不断的把全企业的数据变成资产并服务于业务的机制，数据中台对数据提取价值将数据价值形成一种服务能力，赋能给业务。
数据中台的特点
1.数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。
2.数据中台的核心就是实现公共计算逻辑下沉，实现数据复用，提供给接口使用。
3.数据中台不是某一个单一的产品或者某个技术。本质上讲数据中台就是从数据中发现价值，赋能业务数据管理机制。
4.数据中台核心就是"one data ,one service "
企业构建数据中台时，一般都会涉及组织架构调整。 “构建方法论”+“技术”+"组织架构"
数据中台类比案例
厨房糖醋鱼案例
数据中台理念就是数据来自于业务，用之于业务，对业务数据进行沉淀、挖掘，反哺到业务中，形成业务数据生产、挖掘、价值应用于业务生产流程闭环流程。
前、中、后台概念
前台
由各类前台系统组成的前端平台，包含：手机app ,微信公众号、看板系统、门户网站... ...
中台
业务中台
数据中台
技术中台
后台
数据中台与业务中台关系
一个企业业务中台与数据中台可以同时构建
数据中台中的数据不完全是来自于业务中台，也可以是第三方竞品爬取数据
数据中台挖掘的数据价值不一定非得通过业务中台展示，千人千面的推荐系统，可以直接产生推荐结果
数据中台与大数据平台关系
大数据平台侧重技术相关内容：数据采集、数据清洗、数据存储、数据计算分析、数据任务提交... ,面向更多的是技术人员
数据中台除了包含以上大数据平台内容建设之外，还有侧重数据应用到业务场景的能力，面向的人员不仅仅是技术人员还有业务人员。
构建数据中台价值
1.提升数据应用能力
2.打破数据应用屏障
3.打破数据孤岛，盘活全量数据
4.支持跨主题域的数据访问
5.数据通过中台快速复用
数据中台架构
数据中台构建方法论
构建数据中台设计四个体系：技术体系、数据体系、服务体系、运营体系
构建数据中台五个步骤
1.理现状
2.立架构
3.建资产
4.用数据
5.做运营
数据中台功能架构
分支主题
数据中台技术架构
分支主题
企业构建数据中台评估
企业对数据应用成熟度的四个阶段
统计分析阶段
决策支持阶段
数据驱动阶段
运营优化阶段
注意：以上四个阶段，由上到下，企业对数据的应用成熟度越来越高
不同行业对构建数据中台的需求
金融行业 ： 处于数据驱动向运营优化阶段 - 对中台构建有强烈需求
公共安全行业：处于决策支撑向数据驱动阶段过度阶段
零售行业：处于统计分析向决策支持过度阶段
地产行业：处于决策支撑向数据驱动阶段过度阶段
工业制造：处于决策支撑阶段
政府或者央企相关：处于决策支撑向数据驱动阶段过度阶段
注意：大家需要结合以上数据应用成熟度和所在企业自身使用数据的情况决定要不要构建数据中台
企业构建数据中台三个条件
企业有一定的信息化基础，沉淀了数据，实现了业务数据化过程
企业业务复杂，有丰富的数据维度和多个业务场景，特别是多业态型集团企业
企业有数字化转型、精细化经营的需求
构建数据中台
数据汇集
数据开发
数据体系建设
就是大数据中数据仓库的构建
标签体系构建
什么是标签层？为什么要构建标签层？
如何构建标签体系
1.确定构建标签体系的对象，用户、产品、订单...
2.设计标签类目（多级目录及标签值、说明、表字段...）
3.标签表实现：根据对象将涉及到的多个主题域的数据按照统一的id进行关联，按照业务逻辑计算出来结果插入标签层对应的表
4.数据来自DWS层
数据资产管理
数据资产管理实际上就是数据治理的升级版，可以理解成是数据治理的2.0版本，一般一个企业集团构建数据资产管理都对应一个web平台
数据标准管理
元数据管理
主数据管理
数据质量管理
数据安全管理
数据共享管理-数据交换
数据生命周期管理
数据服务体系建设
体现数据中台价值的出口，数据服务体系给业务部门使用，使用数据价值为业务进行赋能
查询分析服务
推荐服务
圈人服务
数据中台资产运营机制
如何评估数据资产运营效果
如何切入数据资产运营
统一战略
搭建组织
打造氛围
实践创新
如何做数据运营
数据运营的目的：可阅读、易理解、好使用、有价值
数据安全管理
对数据资产管理中的数据安全管理的补充
数据中台解决方案
零售行业数据中台功能体系
网易数据中台功能体系
菜鸟数据中台功能体系
未来数据中台发展方向
实时数据中台
中台上云平台
自动化代码构建
智能化的元数据管理和自动化分析
0 条评论
下一页
