数据中台数据流向图
2022-10-20 11:31:52 6 举报ETL流程、数据采集、数据流向
作者其他创作
大纲/内容
FlinkJoinJob
数据中转
executor
数据分发器
订阅
Kudu
业务系统、智能/工控设备、API
nginx2
离线计算hive/python
服务器N
任务XML
Driver 1
数据库
数据抽取(Extract)
数据集成开发系统
logstash N
配置
数据源
file
存储层
FlinkCDCJob
……
join
DTS系统
FlinkSQLJob
T+1宽表DWD/DWS数据备份
数据收集服务
rw
write
数据载入(Load)
加载调度
produce
HDFS
触发
kafka1zookeeper1
XML配置
接入加工
开发人员
服务器1
实时数据开发(Flink)
存储
智能搜索、数据开放服务
定时任务
Driver N
nginx1
媒体数据pullTask
nginxN
主XML
binlog
read
批量/增量读写
数据转换(Transform)
kafka
启动器模块Azkaban
业务数据Mysql
upsert t0
数据服务
可视化界面
文件
T+0报表T+0宽表基础数据
回写计算数据
离线数据开发(Azkaban)
slave
设计
upsert t1
异步触发
logstash1
Hive
同步触发
目标库
logstash2
kafkaNzookeeprN
consume
维表数据
FlinkBatch
智能搜索/数据开放服务
生成
upsert dim
0 条评论
下一页
