枢纽项目
2021-11-16 17:43:32 0 举报大数据加工架构，ES集群跑批，二级缓存优化
作者其他创作
大纲/内容
多线程调用决策引擎流
异步批写文件
SparkToKafka
二级缓存
本地缓存
对外服务层
kafka监听器
消息负载均衡分发
数据源层
数仓文件
决策引擎跑批层
决策引擎结果进行营销内容加工、内容脱敏
Spark跑批读取主ES表
查询命中的营销模型
kafka72个分区数
redis缓存
查询匹配的客户清单
持久化层
kafka消息
datax入仓
模型结果表以nested结构存储
通过此消息去另外3个ES表批量查询组装、清洗、过滤成完整客户信息
对外暴露ESB接口
java内存队列
数仓
bulk异步落ES
ES集群
0 条评论
下一页
