新旧BD定时器流程图
2022-06-13 23:35:52 6 举报
登录查看完整内容
新旧BD定时器流程图
作者其他创作
大纲/内容
开启爬虫，并记录线程信息
插入队列
通过接口名称，分次从mongo中读取配置信息，获取符合启动条件的爬虫，并且根据爬虫的启动时间进行排序
消费者自动监听获取消息
结束
进行线程控制
定时器开启
旧BD定时器
获取impl目录下的接口名称并且更新并存储配置信息
生产者竞争获取锁成功
保存定时器启动日志信息，并且每隔20分钟存储一次日志信息
开启爬虫
遍历crawlerConfig集合，获取符合启动条件的爬虫，并且根据爬虫的启动时间进行排序
获取impl目录下的接口名称
进行线程控制，若有空闲的线程则签收，否则不签收消息并退回队列中
进行爬虫启动间隔是否小于十分钟的判断，对符合启动条件的爬虫进行进一步的筛选。
新BD定时器
获取加载新增service到mongo的锁成功
每一分钟执行一次本地消费者线程监控
每三分钟执行一次MQ监控
通过接口名称，分次从mongo中读取配置信息，得到crawlerConfig集合
开始
0 条评论
回复 删除
下一页
