爬虫详情页流程图
2021-03-04 10:45:12 2 举报爬虫详情页流程图
作者其他创作
大纲/内容
是
simiAgent
验证格式是否正确
接收返回的数据
退出
将URL放入request中
保存失败的HTML文档
详情页爬虫
读取配置文件
本地文件系统
request队列是否为空
否
配置文件
数据库表
启动
查询所有详情页URL
保存成功的HTML文档
保存在投毒记录数据库中
判断是否投毒
向服务器发出request请求
提取需要的数据
0 条评论
下一页
