任务分发流程图-优化版
2017-02-16 15:06:05 0 举报
为你推荐
查看更多
优化版的任务分发流程图主要包括以下几个步骤:首先,任务创建者将任务详细描述并分配给相应的执行者。然后,系统自动将任务推送到执行者的待办事项列表中。执行者在接收到任务后,可以选择接受或拒绝。如果接受,任务将立即开始;如果拒绝,任务将被重新分配给其他执行者。在任务执行过程中,执行者可以随时更新任务进度,系统也会定期提醒执行者完成任务。任务完成后,执行者需要在系统中确认完成,系统会自动记录任务完成时间和执行者的评价。最后,任务创建者可以查看任务的完成情况和执行者的评价,以便对任务分配和执行进行优化。
作者其他创作
大纲/内容
3
登录任务队列是否为空
获取cookie
是
DB
灌入种子
否
是否依赖cookie
种子丢弃
清除本进程id
Task队列
爬虫优先级分发
账号+代理HA进程
2
File-Config
资源已超限,返回空
Web端
爬虫获取是否成功
Task_Handler
写入本进程id
Spider
Resouce Service
终止任务分发
zookeeper
是否消耗式种子
PutTask
1
标题
任务链执行结束
成功返回
分发子任务
种子分发
EventKeeper
写入登录分发事件
MQ/ZK
任务是否为空
检查爬虫状态
获取任务
任务队列
资源占用统计队列
Mongo
数据流/控制流
查询资源情况
SSDB
GetTask
Seed_Schedule
优先级队列长度小于阈值
爬虫是否已启动
资源池队列
获取账号和代理资源
终止分发登录任务
启动状态爬虫列表为空
提供账号+代理
优先级队列
Galaxy采集平台--登录任务分发
TaskHandler/Event
Galaxy采集平台--运行时任务分发
配置事件队列
FinishTask
Crawler
种子队列
终止本次分发
ConfigHandler
资源超限?
获取是否成功
获取爬虫配置
是否有子任务
遍历爬虫检查任务队列是否为空
Galaxy采集平台--种子任务分发
启动爬虫
Queue_Schedule
cookie是否为空
分发任务
0 条评论
回复 删除
下一页