数据服务架构图_草图
2021-09-06 15:14:26 7 举报数据服务架构图_草图
作者其他创作
大纲/内容
ods层-dwd层
dataworks:任务调度平台，可以编辑任务，上线后定时运行编辑任务：1. 指定任务类型(数据同步，odpsSQL，sparkSQL，adbSQL，py等) 2.配置运行启动时间 3.配置任务依赖关系(形成任务DAG图)
存储层：RDS、DRDS、kafka等
离线任务：数据同步(导出)
datax离线数据同步
数仓(MAXCOMPUTE)
配置任务
数仓：ODS层：原始数据表增量表名：s_原系统表名全量表名：s_原系统表名_all
数仓：DWD层：明细表增量表名：dwd_业务域_业务过程_描述_di全量表名：dwd_业务域_业务过程_描述_all
离线计算任务：ODPSSQL也有其他类型的计算任务：spark，py等
数仓：DWS层：聚合统计表表名：dws_业务域_业务过程_统计粒度_日期范围
定时任务调度平台：dataworks
离线任务：数据同步(导入)
dwd层-dws层
maxcpmpute:大数据计算、元数据管理平台，可以建表管理元数据，可以运行odpsSQL计算任务
收藏
0 条评论
下一页
