网络开源程序结构图
2016-12-23 23:13:14 79 举报
简单数据处理程序结构图
作者其他创作
大纲/内容
报告网页链接
是
否
链接是否与主机不同且只处理本地链接
将网页送入完成队列并继续
等待url加入队列
将链接加入等待队列
查看下一组链接
网络爬虫完成工作
将url下载传送至运行队列
是否为指向web的链接
分析是否有超链接
报告其他类型链接
报告外部链接
分析是否有url
0 条评论
下一页
为你推荐
查看更多