实时离线数仓一体数据流程、数据架构
2023-05-08 16:49:16 2 举报实时离线数仓一体数据流程、数据架构
作者其他创作
大纲/内容
实时
Kafka ods
写到目标数据源
FineReport可视化展示
Flink计算存kafak dwd层
hudi实时计算
关联维度表
Flink CDC
离线
数据集成导出
数据计算数据输入
hive外部表
实时计算结果同步到离线数仓
海量即席查询
Spark离线计算
维度表同步
目标表
数据源
Binlog日志文件
Flink计算后写出到关系型数据库
Flink计算
Hudi（数据湖）（数据更新、删除）
Hive dwd/ads层
hdfs
数据集成导入
Hive ods层
0 条评论
下一页
