离线数仓流程
2022-12-08 09:18:25 0 举报离线数仓业务流程
作者其他创作
大纲/内容
Hue可视化
Yarn资源调度
SqlServer
导出任务提交到yarn执行
MySQL
HBase增量数据
Sqoop抽数
HDFS存储
Hive数仓ods层
impala基于内存hivesql会转成spark job提交到yarn执行
抽数任务提交到yarn执行
Dolphinscheduler调度
Spark计算
Mysql
Hue可以访问HBase集群，通过Hive建立外部表查询HBase中表
Sqoop导出
zookeeper监控各个组件状态和存储元数据信息
Impala实时查询
spark job提交到yarn执行
其它
Hive数仓dwd层
Hive数仓ads层
Postgre SQL
Hive sql查询计算
Oracle
0 条评论
下一页
