Python零基础爬虫寒假专项特训营2024全面升级
2024-01-15 17:07:24 4 举报AI智能生成
Python零基础爬虫寒假专项特训营2024全面升级是一个为期两周的线上培训课程，专为Python编程初学者设计。课程内容涵盖Python基础语法、网络爬虫原理、 requests库、BeautifulSoup库、正则表达式、Scrapy框架等。通过实战案例，学员可以深入理解爬虫的原理和应用，掌握从数据采集、清洗到存储的完整流程。本次特训营全面升级，增加了更多的实用技能和项目实战，帮助学员快速掌握爬虫技术，为将来的数据挖掘、数据分析和人工智能等领域打下坚实基础。
作者其他创作
大纲/内容
网络爬虫与逆向工程
4.1 爬虫前导知识
4.1.1 前言引入
4.1.2 什么是爬虫
4.1.3 为什么需要爬虫
4.1.4 企业获取数据的方式
4.1.5 python做爬虫的优势
4.1.6 爬虫的分类
4.1.7 爬虫的合法性
4.1.8 http与https协议概念
4.1.9 抓包工具的详讲
4.1.10 全球统一资源管理定位器与常见请求方法
4.1.11 常见的响应状态码
4.1.12 http原理
4.1.13 http的请求与响应
4.1.14 请求与响应的报文结构
4.2 urllib模块与requests模块get实战
4.2.1 urllib模块介绍
4.2.2 urllib.request模块详讲
4.2.3 urllib.parse模块详讲
4.2.4 Requests简介
4.2.5 Requests模块的安装
4.2.6 Requests中get请求之参数应用
4.2.7 搜狗搜索与百度贴吧实战
4.2.8 快速优化headers字典参数
4.3 requests模块post请求与cookie与seesion实战
4.3.1 Requests中post请求之参数应用
4.3.2 360翻译实战
4.3.3 Cookie
4.3.4 Session
4.3.5 爬虫图解Cookie与Session
4.3.6 Cookie与Session实战案例
4.4 数据解析之xpath解析
4.4.1 xpath介绍
4.4.2 HTML树状结构图
4.4.3 节点之间的关系
4.4.4 Xpath中的绝对路径与相对路径
4.4.5 相对路径定位语法精讲
4.4.6 验证Xpath定位语法
4.4.7 lxml的基本使用
4.4.8 xpath实战电影排行榜
4.5 数据解析之bs4解析与csv模块
4.5.1 基本介绍
4.5.2 bs4的安装与文档解析器优缺点
4.5.3 bs4的使用
4.5.4 bs4的对象种类
4.5.5 遍历文档树
4.5.6 搜索文档树
4.5.7 select()方法
4.5.8 修改文档树
4.5.9 csv介绍
4.5.10 csv模块的使用
4.5.11 bs4之实战爬取全国温度
4.6 数据解析之正则表达式
4.6.1 正则表达式概述
4.6.2 正则表达式应用场景
4.6.3 正则表达式对python的支持精讲
4.6.4 元字符 预定义匹配 重复匹配 重复匹配
4.6.5 贪婪匹配与非贪婪匹配
4.6.6 re模块常用方法精讲
4.6.7 re分组功能与捕获
4.7 数据解析总结
4.7.1 三大数据解析方式回顾
4.7.2 三大数据解析方式应用场景与对比总结
4.7.3 实战之爬取之全网最全表情包
4.8 多线程爬虫
4.8.1 进程与线程
4.8.2 多进程与多线程
4.8.3 多线程爬虫介绍
4.8.4 多任务基本介绍与程序中模拟多任务
4.8.5 多线程创建之函数创建
4.8.6 多线程创建之类创建
4.8.7 主线程与子线程的执行关系
4.8.8 查看线程数量
4.8.9 验证子线程的创建与执行
4.8.10 线程中的资源竞争问题分析与思路实现
4.8.11 线程锁的使用
4.8.12 Queue线程队列的使用
4.8.13 多线程经典模式之生产者消费者模式模式
4.8.14 生产者与消费者模式多线程爬虫获取表情包实战
4.9 自动化爬虫Selenium
4.9.1 爬虫与反爬虫的斗争
4.9.2 爬虫建议
4.9.3 Ajax基本介绍
4.9.4 获取Ajax数据的方式
4.9.5 自动化爬虫与数据接口对比分析
4.9.6 selnium基本介绍
4.9.7 自动化爬虫的环境搭建
4.9.8 selenium快速入门
4.9.9 selenium定位元素
4.9.10 selenium操作表单数据
4.9.11 selenium处理ifarme标签
4.9.12 selenium模拟登录豆瓣
4.9.13 selenium之鼠标行为链
4.9.14 selenium自动获取实时cookie
4.9.15 selenium模拟登录qq空间抓取数据
4.9.16 selenium页面等待方式
4.9.17 selenium获取网易云音乐评论
4.9.18 操作多窗口与页面切换
4.9.19 selenium执行js语法
4.9.20 selenium高级语法精讲
4.9.21 selenium设置无界面模式
4.9.22 selenium特征识别解决思路实现
4.10 异步爬虫框架Scrapy
4.10.1 Scrapy基本介绍
4.10.2 Scrapy的优势
4.10.3 Scrapy的参考学习文档与安装
4.10.4 Scrapy组件精讲
4.10.5 常见爬虫方式流程分析
4.10.6 Scrapy工作流程精讲
4.10.7 Scrapy入门
4.10.8 Scrapy项目文件精讲
4.10.9 Scrapy总结
4.10.11 Scrapy工作流程的回顾
4.10.12 items文件与pipelines文件精讲
4.10.13 Scrapy实战之抓取豆瓣图书
4.10.14 setings的补充
4.10.15 scrapy.Request处理翻页
4.10.16 翻页处理方式拓展
4.10.17 获取ajax请求数据包
4.10.18 meta参数精讲
4.10.19 实战综合案例之腾讯招聘列表页与详情页数据抓取
4.10.20 mata传参之深浅拷贝
4.10.21 实战之动态抓取古诗文网所有诗歌信息(难度较大)
4.10.22 Scrapy下载中间件精讲
4.10.23 中间件工作流程精讲
4.10.24 通过中间件设置随机UA与ip代理
4.10.25 使用Scapy下载图片流程分析
4.10.26 实战汽车之家之普通方式下载图片
4.10.27 magesPipeline精讲
4.10.28 实战汽车之家之内置方式下载图片
4.10.29 深度爬虫(规则式爬虫)介绍
4.10.30 CrawlSpider的相关参数
4.10.31 Rules LinkExtractor参数详讲
4.10.32 follow参数详讲
4.10.33 CrawlSpider整体爬取流程详讲
4.10.34 模拟登录的三种方式
4.10.35 Scrapy框架之处理cookie的多种实现方式
4.10.36 scrapy之模拟登录
4.10.37 scrapy发生post请求
4.10.38 scrapy实战之模拟登录github
4.11 分布式爬虫
4.11.1 python中redia的安装与链接
4.11.2 redis不同数据类型在python中的相关操作
4.11.3 scrapy-redis的介绍
4.11.4 共享爬取队列的维护
4.11.5 scrapy-redis的工作流程精讲
4.11.6 分布式爬虫之实现爬取全套盗墓笔记小说
4.12 验证码识别
4.12.1 什么是验证码
4.12.2 为什么会用到验证码
4.12.3 验证码的分类
4.12.4 打码平台的详细使用步骤
4.12.5 常见验证码的处理
4.12.6 文字型验证码的识别
4.12.7 点触验证码的识别
4.12.8 滑块验证码的识别
4.13 字体反爬
4.13.1 什么是字体反爬
4.13.2 字体反爬原理
4.13.3 字体映射表的处理
4.13.4 字体反爬实战之闪职
4.13.5 字体反爬实战之实习僧
4.14 web逆向
4.14.1 什么是JS爬虫
4.14.2 什么叫JS逆向
4.14.3 JS逆向的流程分析
4.14.4 JS逆向的环境搭建
4.14.5 JS常见加密算法
4.14.6 chrome常见调试技巧
4.14.7 Base64编码的介绍
4.14.8 Base64解码
4.14.9 编码和解码工具的使用
4.14.10 有道翻译实战
4.14.11 网易云歌曲实战
4.14.12 xx银行商场
4.14.13 xx建筑平台
4.14.14 xx政府服务平台
三大数据库
3.1 MySQL数据库
3.1.1 安装与开启服务
3.1.2 MySQL的数据类型
3.1.3 SQL的分类
3.1.4 数据定义语言
3.1.5 数据操作语言
3.1.6 数据查询语言
3.1.7 python连接MySQL增删改查
3.1.8 数据的持久化存储实战
3.1.9 实战演练：爬取豆瓣排行榜电影数据并存储在MySQL
3.2 MongoDB数据库
3.2.1 MongoDB对比MySQL
3.2.2 MongoDB基本命令
3.2.3 MongoDB的insert
3.2.4 MongoDB的save与update
3.2.5 MongoDB的remove操作
3.2.6 python链接MongoDB增删改查
3.2.7 实战演练：京东商品信息采集入库
3.3 Redis数据库
3.3.1 redis基本介绍
3.3.2 redis特点
3.3.3 redis优势与架构
3.3.4 redis的应用场景
3.3.5 redis学习网址与参考
3.3.6 redis与其他数据库的对比
3.3.7 redis的安装与配置
3.3.8 redis数据库的常用五大命令
3.3.9 redis常用五大基本数据类型
Python零基础强基
1. Python运行环境搭建
1.1 Python简介
计算机组成-前言
Python课程路线
解释器的作用和分类
Python解释器的下载和安装
1.2 Pycharm使用
下载和安装PyCharm
新建项目
新建书写运行文件
PyCharm界面设置
PyCharm修改解释器
PyCharm项目管理
PyCharm总结
1.3 实战演练：环境搭建 & 输出Hello world
2. 变量的使用
2.1 注释的几种用法
2.3 变量的作用
2.4 变量的定义与使用
2.5 变量的打印
2.6 认识数据类型
2.7 变量章节总结
2.8 实战演练：动物各类属性定义与输出
3. 数据类型转换
3.1 输出输入
3.1.1 输出_认识格式化符号
3.1.1 输出_格式化符号基础使用方法
3.1.1 输出_格式化符号高级使用方法
3.1.1 输出_拓展格式化字符串
3.1.1 输出_f-格式化字符串
3.1.1 输出_转义字符
3.1.1 输出_print结束符
3.1.1 输出总结
3.1.1 了解输入
3.1.1 输入功能实现
3.2 数据类型转换
体验数据类型转换
数据类型转换函数
总结数据类型的转换
PyCharm交互式开发
3.3 实战演练：综合数据类型转换实战
4. 运算符
4.1 运算符的分类
4.2 算数运算符
4.3 赋值运算符
4.4 复合赋值运算符
4.5 复合赋值注意点
4.6 比较运算符
4.7 逻辑运算符
4.8 逻辑运算符书写习惯
4.9 数字的逻辑运算
4.10 实战演练：数字与或对比等代码实操
5. 条件控制语句：if
5.1 if初体验
5.1.1 if的作用和语法
5.1.2 if初体验
网吧上网(简单版)
网吧上网(进阶版)
5.1.3 if..else
5.1.4 if语句执行流程
5.2 多重判断
5.2.1 多重判断的作用和语法
5.2.2 体验多重判断
5.2.3 elif的执行流程
5.2.4 拓展：条件写法
5.3 if判断嵌套
5.3.1 if嵌套的作用和语法
5.3.2 if嵌套案例：判断能否上车
5.3.3 if嵌套案例：判断是否能坐下
5.3.4 if嵌套执行流程
5.4 实战演练
5.4.1 猜拳游戏的步骤分析
5.4.2 猜拳游戏
随机数
5.4.3 学生成绩管理系统核心代码
5.5 三目运算符
5.6 if章节总结
6. 控制语句：循环
6.1 循环基础
6.1.1 循环章节课程介绍
6.1.2 了解循环
6.1.3 while的语法和体验
6.1.4 计数器书写习惯
6.1.5 循环的执行流程
6.1.6 循环应用：
循环应用1：1-100偶数累加和方法1
循环应用2：1-100偶数累加和方法2
循环应用3：1-100累加
6.1.7 循环的注意事项
6.1.8 了解break和continue
break
continue
6.1.9 while循环嵌套的作用和语法
6.1.10 while循环嵌套快速体验
6.1.11 实战演练
while循环嵌套应用之打印星号(正方形)
while循环嵌套应用之打印星号(三角形)
求寄偶数之和
while循环嵌套应用之九九乘法表
6.2 循环进阶
6.2.1 for循环语法和体验
6.2.2 break退出for循环
6.2.3 continue退出for循环
6.2.4 循环的else简介
6.2.5 while...else
6.2.6 while..else之break
6.2.7 while..else之continue
6.2.8 for...else之break和continue
6.2.9 for循环嵌套应用之九九乘法表/总结
6.2.10 实战演练：99乘法表实现
7. 字符串操作
7.1 学习字符串的必要性
7.2 认识字符串
7.3 字符串输出与输出
7.4 下标
7.5 字符串切片
7.5.1 切片简介
7.5.2 体验切片
7.6 字符串常用方法简介
7.6.1 字符串常用操作方法之查找
7.6.2 字符串常用操作方法之修改(常用)
7.6.3 字符串常用操作方法之修改之大小写转换
7.6.4 字符串常用操作方法之修改之删除空白字符
7.6.5 字符串常用操作方法之修改之字符串对齐
7.6.6 字符串常用操作方法之判断开头或结尾
7.6.7 字符串常用操作方法之判断
7.7 字符串总结
7.8 实战演练：将字符串的特殊字符进行替换并输出
8. 元组与列表
8.1 列表
8.1.1 列表简介
8.1.2 下标
8.1.3 查找函数
8.1.4 判断是否存在
8.1.5 体验案例-判断是否存在
8.1.6 列表增加数据之append
8.1.7 列表增加数据之extend
8.1.8 列表增加数据之insert
8.1.9 列表删除数据
8.1.10 列表修改数据
8.1.11 列表复制数据
8.1.12 列表的遍历之while
8.1.13 列表的遍历之for
8.1.14 列表嵌套
8.1.15 随机分配办公室的步骤分析
8.1.16 随机分配办公室的实现代码
8.1.17 列表总结
8.2 元组
8.2.1 体验元组
8.2.2 定义元组
8.2.3 元组常见操作之查找
8.2.4 元组数据的修改操作
8.2.5 元组的总结
8.3 实战演练：动态输出办公室出勤人员
9. 字典与集合
9.1 字典
9.1.1 字典的应用场景
9.1.2 创建字典的语法
9.1.3 字典常用操作之新增
9.1.4 字典常用操作之删除
9.1.5 字典常用操作之修改
9.1.6 字典常用操作之查找
9.1.7 字典的循环遍历之key
9.1.8 字典的循环遍历之value
9.1.9 字典的循环遍历之键值对
9.1.10 字典的循环遍历之键值对(拆包)
9.1.11 字典的总结
9.2 集合
9.2.1 创建集合
9.2.2 集合常见操作之增加数据
9.2.3集合常见操作之删除数据
9.2.4 集合常见操作之查找数据
9.2.5 集合总结
9.3 实战演练：学生成绩管理系统（字典版）
10. 推导式与公共操作
10.1 公共操作方法
公共操作之运算符加号
公共操作之运算符乘号
公共操作之运算符判断数据是否存在
公共方法之len
公共方法之del
公共方法之max和min
公共方法之range
公共方法之enumerate
容器类型转换
10.2 推导式
了解推导式
while循环创建有规律的列表
for循环创建有规律的列表
体验列表推导式
带if的列表推导式
多for实现列表推导式
体验字典推导式
合并两个列表为字典
提取字典中目标数据
集合
推导式总结
10.3 实战演练：使用推导式完成奇数和
11. 函数使用
11.1 函数基础
11.1.1 了解函数
11.1.2 函数的使用步骤
11.1.3 快速体验函数
11.1.4 函数的注意事项
11.1.5 函数的参数的作用
11.1.6 体验函数返回值
11.1.7 return的特点
11.1.8 函数返回值的应用
11.1.9 函数的说明文档
11.1.10 函数嵌套调用
11.1.11 函数嵌套调用应用之打印横线图形01
11.1.12 函数嵌套调用应用之打印横线图形02
11.1.13 函数嵌套调用应用之函数计算01
11.1.14 函数嵌套调用应用之函数计算02
11.1.15 函数的总结
11.1.16 使用函数对内容进行去重
12. 函数进阶
11.2.1 局部变量
11.2.2 访问全局变量
11.2.3 修改全局变量
11.2.4 多函数执行流程
11.2.5 返回值作为参数传递
11.2.6 函数的返回值
11.2.7 函数参数之位置参数
11.2.8 关键字参数
11.2.9 缺省参数
11.2.10 不定长参数之位置参数
11.2.11不定长参数之关键字参数
11.2.12 元组拆包
11.2.13 字典拆包
11.2.14 交换变量的值之方法一
11.2.15 交换变量的值之方法二
11.2.16 了解引用之不可变类型
11.2.7 了解引用之可变类型
11.2.18 引用当做实参传入
11.2.19 可变和不可变类型
11.2.20 函数二总结
11.2.21 函数加强简介
11.2.22 实战演练 : ATM存款流程实战
13. 学员管理系统
13.1 学员管理系统需求和步骤分析
13.2 学员管理系统框架搭建
13.3 代码调优
13.4 学员管理系统数据形式的分析
13.5 添加学员功能分析
13.6 添加学员之用户输入
13.7 添加学员之新增数据
13.8 添加学员之重名提示
13.9 删除学员思路分析
13.10 删除学员代码实现
13.11 修改学员思路分析
13.12 修改学员代码实现
13.13 查询学员思路分析
13.14 查询学员代码实现
13.15 显示所有学员信息
13.16 退出系统
13.17 学生重名提示与学员列表显示实战
14. 递归与匿名函数
14.1 递归
14.1.1 了解递归
14.1.2 递归之回顾函数返回值
14.1.3 递归代码实现
14.1.4 递归的执行流程
14.1.5 递归出口问题
14.2 匿名函数
14.2.1 了解lambda
14.2.2 体验lambda
14.2.3 lambda实例之计算两个数字累加和
14.2.4 lambda参数之无参数
14.2.5 lambda参数之一个参数
14.2.6 lambda参数之默认参数
14.2.7 lambda参数之args
14.2.8 lambda参数之kwargs
14.2.9 lambda应用之带判断的lambda
14.3 高阶函数
14.3.1 列表内字典数据排序
14.3.2 了解高阶函数
14.3.3 abs和round
14.3.4 体验高阶函数的思路分析
14.3.5 体验高阶函数的代码实现
14.3.6 内置高阶函数之map
14.3.7 内置高阶函数之reduce
14.3.8 内置高阶函数之filter
14.3.9 函数加强总结
14.4 实战演练：求5的阶乘
15. 文件操作
15.1 了解文件操作
15.2 体验文件操作步骤
15.3 访问模式特点01
15.4 读取函数之read
15.5 读取函数之readlines
15.6 读取函数之readline
15.7 访问模式特点02
15.8 访问模式特点02之代码测试
15.9 seek函数
15.11 文件备份的作用
15.12 文件备份思路分析
15.13 文件备份之接收用户输入
15.14 文件备份之规划文件名
15.15 文件备份之数据写入
15.16 文件备份之限制有效文件名备份
15.17 文件操作函数
15.18 文件夹操作函数之创建和删除
15.19 文件夹操作函数之路径相关函数
15.20 文件夹操作函数之rename
15.21 批量重命名之添加字符串
15.22 批量重命名之添加和删除字符串
15.23 文件总结
15.24 实战演练：删除诗词里的第N行
16. 面向对象
16.1 面向对象基础
16.1.1 了解面向对象
16.1.2 了解类和对象的关系
16.1.3 类和对象的语法
16.1.4 体验类和对象
16.1.5 类里面的self
16.1.6 一个类创建多个对象
16.1.7 类外面添加对象属性
16.1.8 类外面获取对象属性
16.1.9 类里面获取对象属性
16.1.10 体验魔法方法init
16.1.11 带参数的init代码书写（替换原11和12）
16.1.12 魔法方法str
16.1.13 魔法方法del
16.1.14 实战演练：烤地瓜
了解烤地瓜案例需求
烤地瓜案例步骤分析
烤地瓜init方法
烤地瓜方法cook
烤地瓜案例魔法方法str
创建对象测试属性和方法
烤地瓜添加调料
16.2 面向对象高级
16.2.1 继承
16.2.1.1 了解继承
16.2.1.2 拓展经典类和新式类
16.2.1.3 体验继承
16.2.1.4 单继承
16.2.1.5 多继承
16.2.1.6 子类重写父类同名属性和方法
16.2.1.7 拓展_mro顺序
16.2.1.8 子类调用父类同名方法和属性之思路分析
16.2.1.9 子类调用父类同名方法和属性之代码实现
16.2.1.10 多层继承
16.2.1.11 super()方法作用
16.2.1.12 super方法写法
16.2.1.13 定义私有属性和方法
16.2.1.14 获取和修改私有属性值
16.2.1.15 继承总结
16.2.2 面向对象特性
16.2.2.1 了解面向对象三大特性
16.2.2.2 了解多态
16.2.2.3 体验多态思路分析
16.2.2.4 代码实现多态
16.2.2.5 设置和访问类属性
16.2.2.6 修改类属性
16.2.2.7 类方法
16.2.2.8 静态方法
16.2.2.9 面向对象其他总结
16.2.3 实战演练：自定义一个类及属性特征
17. 异常处理
17.1 了解异常
17.2 体验异常
17.3 了解异常类型
17.4 捕获指定异常类型
17.5 捕获多个指定异常类型
17.6 捕获异常描述信息
17.7 捕获所有异常
17.8 异常的else
17.9 异常的finally
17.10 拓展命令提示符运行py文件
17.11 异常传递的思路分析
17.12 异常传递的代码实现
17.13 自定义异常的作用
17.14 自定义异常思路分析
17.15 自定义异常代码实现之异常类
17.16 自定义异常代码实现之捕获异常
17.17 debug使用
17.18 异常总结
17.19 实战演练：银行卡密码长度检验实战
18.模块/包/学员管理系统
18.1 模块
18.1.1 了解模块
18.1.2 导入模块之方法一
18.1.3 导入模块之方法二
18.1.4 导入模块之方法三
18.1.5 定义别名
18.1.6 了解制作模块
18.1.7 制作模块之定义模块
18.1.8 制作模块之测试和调用模块
18.1.9 了解模块定位顺序
18.1.10 模块定位顺序之注意点1
18.1.11 模块定位顺序之注意点2
18.1.12 拓展：名字重复的严重性
18.1.13 all列表
18.2 包
18.2.1 了解包
18.2.2 制作包
18.2.3 导入包之方法一
18.2.4 导入包之方法二
18.2.5 模块和包的总结
18.3 实战演练：学员管理系统/面向对象开发
18.3.1 章节介绍
18.3.2 介绍系统需求
18.3.3 准备程序文件
18.3.4 定义学员类
18.3.5 了解管理系统的需求
18.3.6 定义管理系统类
18.3.7 管理系统框架需求和步骤
18.3.8 管理系统框架之程序入口函数
18.3.9 管理系统框架之定义系统功能函数
18.3.10 程序入口文件功能实现
18.3.11 添加学员功能
18.3.12 删除学员功能
18.3.13 修改学员信息
18.3.14 查询学员信息
18.3.15 显示所有学员信息
18.3.16 保存学员信息需求和注意事项
18.3.17 拓展__dict__
18.3.18 保存学员信息
18.3.19 加载学员信息思路
18.3.20 加载学员信息及涵盖知识点总结
爬虫必备Web技术
2.1 html简介&基础&元素
2.2 html属性&标题&段落
2.3 html链接&头部&图像
2.4 html表格&列表&区块
2.5 html表单&框架&颜色
2.6 html字符实体&url
2.7 实战演练
登录注册页面实战开发
https://ssl.zc.qq.com/v3/index-chs.html
自选背景图片, 要求注册信息居中
0 条评论
下一页
