日志归档流程图和时序图
2021-12-21 14:41:23 33 举报
选店日志流程图
作者其他创作
大纲/内容
请求redis该店铺查询一个小时内订单
获取一个小时内该店铺订单
data-comsumer处理选店日志并落库
返回选店结果
data-comsumer
调用离线计算并且结合实时计算推送未完成订单和需完成时长
kibana
返回成功
online接收订单数据并进行清洗，落库
结束
online-service计算部分
同步发送店铺负载计算过程和结果到es
SSA调用选店接口
开始
发送日志落库请求
根据当前时间生成拆分键并且按照拆分键去命中数据库和表
店铺订单离线计算部分日志时序图
店铺订单计算部分日志时序图
返回接收成功
调用计算剩余时长接口
计算店铺订单加速度，同时生成日志
smart通过选店计算并生成日志
SSA
redis
数据库
同步发送店铺订单加速度和结果到es
数据中台
同步发送店铺产能计算过程和结果到es
智能选店部分日志时序图
记录日志到es
kafka
解析日志内容到索引字段
发送订单消息
接收选店日志归档消息
调用选店接口
订单清洗后放入store_order_queue
将订单存入缓存区进行数据清洗
发送选店日志归档消息
online-service清洗部分
返回一个小时内订单
定时任务推出store_order_queue
online店铺负载计算并且记录日志到elk
根据订单数据获取对应店铺编码，触发这些店铺计算
异步启用线程
smart-service
online接收日志消息并且进行清洗放到redis缓存区
定时任务每5s处理队列中最多200条或者未超过50条3次则存库
智能选店日志同时需要考虑分库分表存储
计算店铺负载，同时生成日志
接收topic订单内容
存入store_order_cache
online-service计算剩余时长
online计算部分计算店铺负载时候生成离线日志
处理按照店铺维度并只保留近一个小时订单数据
计算店铺产能同步生成日志
mq
通过智能选店，并生成日志
日志落库
查询redis获取一个小时内订单
解析选店日志内容，解析成选店结果和结果详情并放入java内存中
计算日志到kibana
数据中台通过kafka发送订单
收藏
收藏
0 条评论
回复 删除
下一页
