数据流程图
2020-01-06 11:46:07 0 举报
流程图
作者其他创作
大纲/内容
sqoop同步(通过脚本)
hive开启hiveserver2
传入数据
写入
离线T+1的频率
离线频率是T+1
返回处理数据
kafka集群
IDEA
提交设置相关的提交参数
通过spark代码读取外部数据源(或使用JDBC读取)hive的数据,(该代码含封装的算法代码)
调度平台
传入机构数据
机构表
spark集群
读取
hive的新机构表
hive或hbase
实时
实时调度JAR的脚本
oozie调度平台
传回数据
OGG
提交代码,并设置相关参数
算法代码部分
实时调度
通过sparkstreaming代码处理kafka传入的数据,(该代码含封装的算法代码)
oracle
overwrite
作为生产者对接到kafka
机构表数据
离线
spark代码部分
0 条评论
回复 删除
下一页