数据平台操作流程及数据流转
2024-08-28 14:03:59 4 举报
大数据&数据仓库用户操作及数据流转
作者其他创作
大纲/内容
层级/主题域、命名规范、标准化用语
平台自动执行
业务数据如要接入到平台数仓,需要在此先添加数据源
执行数据同步任务,将数据同步到DWD表中
将用户写的SQL脚本串到工作流任务中,不支持自动生成目标表,需要提前创建数据模型
记录元数据信息、血缘链路等
按命名规范自动生成部分表名
数据应用
BI
初始化数据标准
数据资产检索
数据同步
开始
创建ODS层目标表
按用户配置的数据监控标准进行监控和告警
执行数据同步任务,将数据同步到ODS表中
平台管理员
同步到DWS表
同步到ADS表
用户操作流程
选择来源表和目标表
初始化
创建数据源
通过平台执行同步,支持简单的ETL,支持自动生成目标表
写SQL进行数据处理并将数据同步到DWD表中
数据处理
平台用户(平台开发、平台分析师、业务用户等)
原始数据同步到ODS表中
数据预览、下载
0 条评论
下一页