Vertical Cross Functional Template
2018-03-31 14:41:45 20 举报爬虫流程图
作者其他创作
大纲/内容
判断是否爬到数据
爬虫流程图
数据解析器
否
将该URL放到任务队列
End
解析数据
检查改URL是否可用
是
判断URL的状态是否可用
判断URL是否已在Redis
网页下载器
配置URL和抓取规则
爬取数据
判断任务队列是否有URL
更新URL状态（是否可用）
URL管理器
存放到ElasticSearch
客户端
收藏
0 条评论
下一页
为你推荐
查看更多
