实时flink数仓架构
2023-04-23 16:19:16 1 举报
flink实时数仓的总体技术架构，拉取深市、沪市数据，沪市FTP文件传输，深市socket流传输、数据拉去到kafka经过flink存到各个分析组件加以预警展示。
作者其他创作
大纲/内容
kylin
hbase
分时行情的数据为什么放在druid？分时行情是一分钟产生一条数据，并且数据要经过简单sql计算，还要达到亚秒级的响应。所以我们选用了druid
DM
历史数据备份分时数据加载
实时预警
板块
秒级分时K线历史数据备份个股涨跌幅
Flume
ods
java程序
flink CEP
沪市行情sse
指数公司
k线
javaweb
定时出发查询、秒级响应
邮件告警
K线行情的数据为什么放在mysql？K线行情一天产生一条行情数据，两万个企业，假如两万条数据，mysql也可以单表也能保存两个月。日k的表报和周k的报表需要进行负责数据分析
mysql
分时数数据加载、做离线预警，五日涨跌幅、五日振幅等等
深市行情szse
flink
flink实时数仓总体技术架构
hdfs
webUI大屏实时监控
实时
历史备份数据为什么放在hdfs？分时数据我们是不会删除的，会保存在hdfs，最后导入到hive做历史备份，后面拉来做分析
hive数仓
子业务
个股
socket流
druid
文件
秒级
行情公司wind
自定义source
序列化框架avro
加载hive数据，数据预聚合，做olap查询
DW
每秒对外广播
分时
指数
topicsse沪市
秒级相应的数据为什么放在hbase？第一：秒级行情是三秒一个窗口，秒计算一秒钟就就有两万条数据。四个小时就有两点八亿条数据，那么大的数据量，要求秒级数据响应，那么这时候就是hbase最合适，hbase只是简单的存取，不涉及复杂计算。第二： hbase本身就能存储海量数据。秒级行情我们只保存一周所以基于这个条件，我们再选择ID base的
kafak
topicszse深市
离线
服务端口
FTP
涨跌幅预警振幅预警换手率预警
文件交互中心
0 条评论
回复 删除
下一页
