大数据实时处理技术架构
2021-04-01 09:23:08 3 举报大数据实时处理技术架构
作者其他创作
大纲/内容
WebService数据接口
全量T+1
动态表
离线采集
ODS/DWD/DWM层数据全量初始+增量变化
KAFKA
行为埋点数据
JDBC
Canal/MaxWell
Flink Stream/SQL等
关联Join
离线计算（Hive/Spark）
DWD
清洗/汇总
Sqoop/Flume等
HBase/Phoenix(存量数据/实时数据)
维表
线上数据库
Flume
实时采集
HBase(数据量大)/MySQL(数据量小)
自建日志服务器
DWM
实时增量数据
... ...
数据源
HDFS或OSS/Hive/HBase
mysql等传统数据库
Clickhouse（或阿里AnalyticDB MySQL）
ODS
前端BI
MySQL关系型数据库
收藏
职业：硕士
0 条评论
下一页
