数据源同步总流程图
2019-04-07 12:48:16 21 举报
一个真实的、线上的数据源同步方案
作者其他创作
大纲/内容
校验:参数合法性
设置:移除日志分文件上下文
入库:存入ES
是否有分片信息头
设置:当前分片ID
TaskValiBean
入库:任务执行结果
设置&入库:任务执行信息
DsValiBean
主线程:分片执行前
校验:分片计数器跑满
分批:串行处理大量数据
核心路由：DsRouter
设置:分片信息头和分片计数器
主线程:分片执行后
设置:动态es操作头
SplitTaskDoneBean
ESDao
入库:任务执行异常
配置准备
TaskDoneBean
完成:整个流程
多播1
响应:http接收结果
无
设置:增加日志分文件上下文
DsFailureHandler
应用控制
设置:动态ds路由头
${ds}.xml
有
多播2
发送:数据源同步请求
应用路由：HttpSeviceRouter
校验:任务可执行
接收:http请求
接收:拉取请求
SplitTaskReadyBean
对应代码:
设置:分片计数器+1
多子线程:分片执行中
0 条评论
回复 删除
下一页
