业务数据流程图
2019-10-23 19:07:27 0 举报
kettle数据流程架构图
作者其他创作
大纲/内容
成功
脚本
kettle
具体说明
用于分区信息导入
作业
清空hive医疗表
数仓分层全在本步骤(ods元数据映射，数据湖字段名，数据更改，最终ads展示)
转换
后期会把数据放入hbase并且引入impala或者sparksql
数据库
excel导入mysql(一一对应关系)
设置时间变量
hbase
hdfs到hive
mysql到hdfs
数据上传至hdfs
数仓之间数据传输
excel导入mysql
清空表作为数据导入第一阶梯，每次新增数据都会导入这个表，这个表只存最近数据
其它类型数据
其它数据处理
清空hive表为以后导入准备(后期增量导入)
start
hdfs导入hive表
清空mysql医疗表
0 条评论
回复 删除
下一页
