bi数据流
2022-06-27 20:24:26 32 举报bi数据流
作者其他创作
大纲/内容
埋点数据推送至kafka
user_db
滑动窗口滚动窗口会话窗口滚动窗口
埋点topic
FlinkKafkaConsumer以时间戳和水印将数据打入窗口
android
kudu业务库
大数据存储层kudu
存储至业务库
业务表初始全量数据
存储至埋点库
reduceaggregatefoldapply
kafka consumer
存储至宽表库
rediseshbasekudu
jdbc query consumer
flink窗口以窗口为容器装载数据
业务表同步
消息队列kafka
Flink算子对窗口数据进行聚合运算
ios
业务表增量数据
埋点数据同步
Flink Sink结果数据存入到一级或二级存储介质，供BI或业务方调用
flink宽表同步
tospur_jt
web
kudu宽表库
mysql binlog
事件时间系统时间时间戳和水印延迟数据保护
mysql binary log
增量binlog推送
服务端
java应用消费埋点数据
tospur_jt_dw
kudu埋点库
etl层
业务数据源
binlog topic
埋点数据接入端
streamsets
0 条评论
下一页
