python爬虫建议观看视频
2020-06-25 17:48:24 0 举报AI智能生成
python爬虫建议观看/视频/文档
作者其他创作
大纲/内容
写在最前面
如果实习爬虫公司要求技术不高的话，那么你只看那8天视频就可以了
如果实习爬虫公司要求高的话，那么看这些标红的就可以了
要是感觉特别多的话那我也没办法，3个星期速成找爬虫实习？真正的本科
学4年找实习，所以了，按照适合自己的节奏学吧，不过至少把标红看完实习
爬虫岗可以横着走(也就是可以挑公司)
如果实习爬虫公司要求高的话，那么看这些标红的就可以了
要是感觉特别多的话那我也没办法，3个星期速成找爬虫实习？真正的本科
学4年找实习，所以了，按照适合自己的节奏学吧，不过至少把标红看完实习
爬虫岗可以横着走(也就是可以挑公司)
给你们链接你们去学不是一种最好的办法
最好的是看明白我学习的方法(爬虫方向、找学习资料的方式)
最好的是看明白我学习的方法(爬虫方向、找学习资料的方式)
爬虫基本知识
https://www.bilibili.com/video/BV18C4y1a7uk?p=8
持久化
数据库
1.MySQL
2.Redis
https://www.bilibili.com/video/BV1S54y1R7SB
这个Redis视频讲的比较深，对web来说帮助很大
但是对要找一个爬虫实习的话就不用都看完了
但是对要找一个爬虫实习的话就不用都看完了
建议爬虫观看：
爬虫先看这些就可以了，后面有精力在看完
建议web观看：
全部
3.MongoDB
https://www.bilibili.com/video/BV1YK411n7ST?p=230
json/csv
https://www.bilibili.com/video/BV1Lx41197NM?p=49
抓包工具/APP抓包
Charles
https://www.bilibili.com/video/BV1pT4y1379G?p=15
这些app只是简单的介绍一下，入门也算不上，但是起码要了解一些
真正的app逆向，一些jdk使用，破壳等就比较深了
真正的app逆向，一些jdk使用，破壳等就比较深了
fiddler
https://www.bilibili.com/video/BV1c4411c7zH?p=1
看的时候看对自己有帮助的，一些太深的后期在来看
模拟登录(cookie或selenium)
https://www.bilibili.com/video/BV1Lx41197NM?p=11
深层理解requests.Session()
https://blog.csdn.net/hfutzhouyonghang/article/details/81009760
https://blog.csdn.net/weixin_42575020/article/details/95179840
https://www.jianshu.com/p/264955856e61
selenium动作链破解滑块
https://www.cnblogs.com/lmx123/p/9246215.html
破解滑块（极验）验证码思路
https://blog.csdn.net/qq_43391383/article/details/90574964
破解滑块验证码(打码平台)破解bilibili滑块
https://blog.csdn.net/a549742320/article/details/100521322
破解豆瓣滑块验证码
https://blog.csdn.net/lmw1239225096/article/details/79099238
爬虫项目：破解极验滑动验证码
这些只是一种思路，需要完全理解还要自己去找知识
ip池架构
https://www.bilibili.com/video/BV1Sz411i73j
up才大一就已经搭建ip池了吗？佩服啊
up才大一就已经搭建ip池了吗？佩服啊
爬虫策略】加菜？教你面向牢饭编程！！构建爬虫代理IP池！Tor洋葱浏览器
ip池这里很深了，想找资料自己去搜吧，我也只能零散学一些入门，不要指望免费代理
推荐一个代理ip网站去够买付费的
http://www.xdaili.cn/newsList
一些js逆向与破解反爬
https://www.bilibili.com/video/BV1pT4y1379G?p=19
https://www.bilibili.com/video/BV1pT4y1379G?p=11
字体反爬是真滴恶心
https://www.bilibili.com/video/BV13A411b74e?t=298
【爬虫策略】在？教你面向牢饭编程！！简单破解有道翻译！破解JS加密 | 程序
scrapy在次理解
https://www.bilibili.com/video/BV124411A7Ep/
重点看一下pipelines重新，分布式，与模拟登录
日志
https://blog.csdn.net/mouday/article/details/80524182
Python爬虫：scrapy框架log日志设置
https://blog.csdn.net/weixin_41666747/article/details/82716688
爬虫scrapy框架--log日志输出配置及使用
定时
windows
https://blog.csdn.net/zwq912318834/article/details/77806737
python实现scrapy爬虫每天定时抓取数据
https://blog.csdn.net/vivian_ll/article/details/65442105
python实现scrapy定时执行爬虫
linux
https://blog.csdn.net/WNxiaoning1/article/details/86891235
含有大量爬虫的scrapy项目部署到Linux服务器并设置定时启动
设置cookie模拟登录
https://blog.csdn.net/u013444182/article/details/105282050
scrapy 中 COOKIES_ENABLED 设置
https://blog.csdn.net/godot06/article/details/81612418
scrapy爬取知名问答网站(解决登录+保存cookies值+爬取问答数据)--完整版完美解决登录问题
https://blog.csdn.net/sinat_41721615/article/details/99625952
Scrapy设置headers、cookies三种方法
scrapy中间件处理异常
https://blog.csdn.net/sc_lilei/article/details/80702449
[Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常
scrapy可视化工具
https://blog.csdn.net/mouday/article/details/84926296
Scrapy可视化管理管理工具总结
收藏
0 条评论
下一页
