数据湖架构设计
2022-11-10 11:10:01 5 举报数据湖架构设计
作者其他创作
大纲/内容
质量管理
流程编排
数据湖架构设计
离线
数据调度层
数据大屏
数据搬迁
数据应用层
数据访问
实时计算
数仓
数据湖存储层
④Schema后置:数据湖存储数据不需要满足特定的范式，支持在读取数据的时候Schema。
···
⑤应用广泛：支持使用者通过自助访问业务数据，支持数据挖掘、机器学习等未知探索需求。
数据挖掘
用户画像
任务管理
数据湖接入层
③多范式计算:支持多种计算引擎，满足不同数据计算分析需求，支持批处理、流处理、机器学习等。
Flink
统一的API接口
AI平台
数据接入
数据库
BI报表
实时
APP
元数据管理
MapREduce
①数据多源异构:可容纳海量数据，且无存储格式要求，接收结构化、半结构化、非结构化及二进制数据入湖。
离线计算
Storm
资产目录
②数据统一存储管理:对内以OSS为中心，进行统一存储，对接多范式计算引擎，对外提供统一的API接口
Spark
机器学习
数据治理
应用
数据湖管理层
日志
调用
OSS
Spark Streaming
数据湖计算层
0 条评论
下一页
