zhidaospider流程图
2018-02-26 10:17:03 1 举报知道
作者其他创作
大纲/内容
从url内容库获取url对应的历史快照结果HRecord
url状态库
慢速下载器下载获得SHTML
yes
NHTML&NRecord回写
内容更新
状态更新
策略判断是否需要慢速下载
url标注集合
No
快速下载解析器解析QHTML-QRecord
慢速下载解析SHTML-SRecord
快速下载器下载获得QHTML
标注集数据校验
调度器选出url
url内容库
数据完整性校验
Yes
HRecord merge到QHTML上
生成新的html和record(NHTML&NRecord)
SRecord merge到QHTML上
url来自标注集？
收藏
收藏
0 条评论
下一页
