任务调度流程
2017-02-21 16:52:02 0 举报
任务调度流程是一个系统化的过程,用于管理和控制任务的执行。首先,任务会被定义并分配给相应的处理器或执行者。然后,调度器会根据任务的优先级、资源需求和依赖关系来安排任务的执行顺序。在执行过程中,调度器会监控任务的状态,如是否完成、是否延迟等,并根据需要进行调整。如果任务出现问题,调度器会采取相应的措施,如重新分配资源、暂停或取消任务等。最后,任务完成后,调度器会进行清理工作,如释放资源、记录结果等。整个过程旨在确保任务的有效、高效和有序执行。
作者其他创作
大纲/内容
资源占用统计队列
是
查询资源情况
PutTask
GetTask
DB
资源超限?
获取爬虫配置
任务链执行结束
Spider
成功返回
分发子任务
Task队列
爬虫优先级分发
是否有子任务
File-Config
否
优先级队列
资源已超限,返回空
Galaxy采集平台--任务调度
回写到队首
爬虫获取是否成功
优先级调度
Task_Handler
任务是否为空
获取任务
0 条评论
回复 删除
下一页