实时flink数仓架构
2023-04-23 16:19:16 1 举报
flink实时数仓的总体技术架构,拉取深市、沪市数据,沪市FTP文件传输,深市socket流传输、数据拉去到kafka经过flink存到各个分析组件加以预警展示。
作者其他创作
大纲/内容
kylin
hbase
分时行情的数据为什么放在druid?分时行情是一分钟产生一条数据,并且数据要经过简单sql计算,还要达到亚秒级的响应。所以我们选用了druid
DM
历史数据备份分时数据加载
实时预警
板块
秒级分时K线历史数据备份个股涨跌幅
Flume
ods
java程序
flink CEP
沪市行情sse
指数公司
k线
javaweb
定时出发查询、秒级响应
邮件告警
K线行情的数据为什么放在mysql?K线行情一天产生一条行情数据,两万个企业,假如两万条数据,mysql也可以单表也能保存两个月。日k的表报和周k的报表需要进行负责数据分析
mysql
分时数数据加载、做离线预警,五日涨跌幅、五日振幅等等
深市行情szse
flink
flink实时数仓总体技术架构
hdfs
webUI大屏实时监控
实时
历史备份数据为什么放在hdfs?分时数据我们是不会删除的,会保存在hdfs,最后导入到hive做历史备份,后面拉来做分析
hive数仓
子业务
个股
socket流
druid
文件
秒级
行情公司wind
自定义source
序列化框架avro
加载hive数据,数据预聚合,做olap查询
DW
每秒对外广播
分时
指数
topicsse沪市
秒级相应的数据为什么放在hbase?第一:秒级行情是三秒一个窗口,秒计算一秒钟就就有两万条数据。四个小时就有两点八亿条数据,那么大的数据量,要求秒级数据响应,那么这时候就是hbase最合适,hbase只是简单的存取,不涉及复杂计算。第二: hbase本身就能存储海量数据。秒级行情我们只保存一周所以基于这个条件,我们再选择ID base的
kafak
topicszse深市
离线
服务端口
FTP
涨跌幅预警振幅预警换手率预警
文件交互中心
0 条评论
回复 删除
下一页