judgement
2022-11-08 15:07:03 7 举报
判断逻辑
作者其他创作
大纲/内容
判断该URL在数据库中是否存在?
该URL对应的sha1摘要是否与数据库中记录的该URL对应的摘要相同?
否
是
将该URL对应的Last-Modified、content-length及摘要信息插入数据库
结束
http response header的content-length是否与数据库中记录的该URL对应的content-length相同?
http response header的Last-Modified是否与数据库中记录的该URL对应的Last-Modified相同?
将该URL对应的Last-Modified、content-length及摘要信息更新到数据库中
开始
将该crawluri对应的revisit标志位设为true
收藏
0 条评论
下一页