大数据查询优化
2020-10-20 10:04:16 0 举报大数据量查询服务架构优化
作者其他创作
大纲/内容
落库
成功后消息通知
序列化与反序列化
基础服务层
任务完成通知
Nifi同步
多线程全量同步任务
全量更新
ES聚合查询服务
ES服务层
DataX平台
ES构建二级索引
导数进程
Hbase查询服务
ES索引创建服务
rowkey调优
失败重试
对外服务层
实时服务层
flinkX
大数据调度平台
监听同步消息
redis状态机实现路由-AB表日切
先删除，后同步
Azkaban任务调度、监控
Hbase服务层
离线指标计算任务
对外暴露ESB接口
消息队列
Hbase更新服务
Spark任务导数
我行ESB服务接口交互
A表
AB表切换
ES服务路由
大数据平台调度系统
ETL层
Hbase二级索引
hdfs
B表
结果表
hbase服务路由
0 条评论
下一页
