[※]大型类互联网数据湖中长期业务架构
2021-04-21 16:30:32 2 举报搭建大数据云平台技术架构图，与之匹配大数据运维平台与运营平台架构，后续跟进。
作者其他创作
大纲/内容
数据应用
DIM
库表同步组件
内容管理
数仓层
归档管理系统
挖掘模型服务
分布式文件监听
数据处理
离线计算
DWB（Data Warehouse Basis）
Flink
数据存储
指标中心
用户画像
数据地图
数据湖中期业务架构（过渡态）
数据质量中心(SLA)
Hive
Alluxio
....
风控系统
Presto
数据决策
Hudi
容器管理平台
MR
HBase
...
离线开发平台
PyTorch
流计算开发平台
数据建模平台
集市层
TEZ
业务中台
客户对账
智能比价
SparkML
智能检索
数据共享
零售档案系统
交互查询平台
分布式文件传输
Spark Streaming
调度系统
智能BI分析平台
租户/权限管理
520
十大组件
征信系统
S3
实时计算
数据开发
API开放平台
Scikit-Learn
数据权限中心
NLP
数据采集组件
ODS（Operational Data Store）
数据管道
非结构化管理
ADS|RPT（App Data Market）
智能风控
数据探索平台
明细层
核心系统
DWS（Data Warehouse Service）
异构数据
Kafka
TensorFlow
数据工具
元数据管理
HDFS
ES
运营
管理驾驶舱
Yarn
分析
Spark
精准营销
数据血缘中心
外部数据
元数据中心
算法平台
数据挖掘
API开发平台
工单系统
额度系统
DWD（Data Warehouse Detail）
![[※]数据湖功能架构](https://www.processon.com/chart_image/template/thumb/657eaf769a873e50f506e2b7.png?tid=607ce17a1e08534f372ac63a)
0 条评论
下一页
