首页 流程图 详情

mycrawler

2018-05-11 16:59:59 0 举报
仅支持查看
python爬虫
Python
作者其他创作
大纲/内容
使用多线程并调用代理ip下载网页数据
保存登录后的cookies到本地
调用cookies
编写数据过滤规则过滤数据
存储数据到数据库
将代理ip存入数据库作为代理池
结束
是
将URL列表作为参数调用传入多线程
使用cookies直接访问目标页面
否
判断是否登陆成功
获取URL列表并去重
登录目标网站
评论
0 条评论
下一页
为你推荐
查看更多
抱歉，暂无相关内容