BigData
2021-03-18 15:44:10 9 举报
Flink+kafka+Elasticsearch实时数据流处理
作者其他创作
大纲/内容
Kafka集群
离线流
Topic
收集
ZOOKEEPER 调度层
SpringBoot WebService+Echarts数据可视化
Hive开启hiveserver2
传入数据
算法代码部分
机构表
传入机构数据
index索引
上传数据
写入
特征算法
hive新机构表
通过Flink读取外部数据源（或者使用JDBC读取）hive数据
MapReduce
IDEA
ElasticSearch集群
Flink集群
返回数据
读取
实时流
Flume接口
HDFS
Flink代码部分
MySQL
机构表数据
实时数据数据
通过Flink读取Kafka数据源
overwrite
作为生产者对接到Kafka
出行分析驻留分析出行方式分析
返回处理数据
0 条评论
回复 删除
下一页
