实时离线数仓一体数据流向
2023-02-08 18:41:24 64 举报
实时离线数仓一体数据流向是一种将实时数据处理和离线数据处理相结合的数据架构。在这种架构中,数据首先通过实时处理系统进行初步处理,然后存储在实时数据库中。同时,这些数据也会被传输到离线处理系统中,进行进一步的分析和挖掘。最后,处理后的结果会再次返回到实时数据库中,供用户查询和使用。这种架构能够有效地平衡实时性和准确性的需求,为用户提供更加全面和准确的数据支持。
作者其他创作
大纲/内容
实时
Kafka ods
数据源
写出到关系型数据库
FineReport可视化展示
Flink计算存kafak dwd层
通过Hive外部表映射访问HBase表
Flink CDC
数据量比较大的表,增量导入
离线
Sqoop导出
Spark计算
目标表
Binlog日志文件
Flink计算后写出到关系型数据库
Flink计算
Hive dwd/ads层
hdfs
Sqoop导入
Hive ods层
关联维度数据
0 条评论
下一页