bot
2015-07-03 11:14:42 0 举报爬虫结构
作者其他创作
大纲/内容
获取任务
循环遍历(RecurNetworkSearchThread.java)
NetworkInspectJobController
TieBaParser
Redis
Web客户端
Oracle任务队列
JobConf
查询索引
存任务JobConf到redis
选择一个worker节点执行任务
创建巡检任务
OA
创建全网搜索任务
全网搜索任务（NetworkSearchJob.java）
Worker节点
任务队列管理（TaskSchedulerThread.java）
主控Master
SolrCloud索引
Worker工作节点管理(WorkerScheduler.java)
NetworkSearchController
网络巡检任务(NetworkInspectJob.java)
BlogParser
网络巡检任务
NewsParser
主控启动时只遍历一次(OnceNetworkSearchThread.java)
全网搜索任务
写索引
ForumParser
职业：暂无
0 条评论
下一页
