宽表实现新旧架构图
2023-02-23 17:06:51 5 举报
宽表服务架构。解决mysql大量情况下
作者其他创作
大纲/内容
数据写入中间表后，生成binlog。binlog数据再次数据源fy_mysql_topic
（ODS层）KFK
（管道层）KFK
管道集群服务
fy_flink_mysql_mapping
大宽服务周期将收集到的数据去重后，从hbase中批量获取宽表数据，然后大宽，将大宽的数据再次写入管道层KFK，交由对应的管道服务将数据写入对应数据库
上游原始数据
fy_mysql_topicfy_senior_topicfy_third_topic
各种管道层服务写入对应数据库
将数据统一数据格式后输出分别输出到3个topic
fy_flink_sink_hbase
（宽表ODS层）KFK
宽表大宽服务fy_flink_wide_mapping
mysql管道服务，将数据写入中间表利用mysql的主键进行大宽操作dw_middle_*
实时计算服务集群
直接输出数据
三种服务分别分别进入对应的计算服务
数据接入服务（埋点，业务，第三方）
写入hbase成功后将dataKey上传到宽表KFK
fy_mysql_topic
数据计算服务fy_flink_senior_mappingfy_flink_mysql_mappingfy_flink_third_mapping
0 条评论
回复 删除
下一页
