Python技术体系
2022-12-16 15:55:35 58 举报
AI智能生成
Python技术体系(超全-附带详细链接)
作者其他创作
大纲/内容
Python基础
Python简介
Python数据类型
异常处理
函数
类(超详细教程)(🔥)
包模块
Python标准包(内置包)
re - 正则表达式(🔥)
collections-复杂容器对象
Json-轻量级文本对象
OS-操作文件和目录
Python-标准库-官方清单
01-文本处理服务
string - 常见的字符串操作
re - 正则表达式操作
difflib - 计算增量的助手
textwrap - 文本换行和填充
unicodedata - Unicode 数据库
stringprep - 互联网字符串准备
readline - GNU readline 接口
rlcompleter - GNU readline 的补全函数
02-二进制数据服务
struct - 将字节解释为打包的二进制数据
codecs - 编解码器注册表和基类
03-数据类型
datetime - 基本日期和时间类型
zoneinfo - IANA 时区支持
calendar - 一般日历相关功能
collections - 容器数据类型
collections.abc - 容器的抽象基类
heapq - 堆队列算法
bisect - 数组二分算法
array - 高效的数值数组
weakref - 弱引用
types - 内置类型的动态类型创建和名称
copy - 浅拷贝和深拷贝操作
pprint - 数据漂亮的打印机
reprlib - 替代 repr()实施
enum - 支持枚举
graphlib - 使用类似图形的结构进行操作的功能
04-数值和数学模块
numbers - 数字抽象基类
Python-标准库-自行整理
时间处理
time 时间
datetime 日期模块(对time的高级封装)
calendar 日历
底层系统
sys Python运营环境的变量和函数
os 常用系统操作
threading 多线程; multiprocessing 多进程
tempfile: 内置模块,临时文件操作
shutil 对文件(夹)、压缩包进行处理的模块
序列化/转换模块
json 数据序列化
pickle 对象序列化(一切对象皆可序列)
shelve 内存数据持久化
hashlib/hmac/uuid 消息摘要/加密/全局唯一标识符
数据处理
re 正则表达式
string 字符串处理
collections 数据的高级处理
配置文件
pyYaml
xml
ConfigParse ini配置文件解析模块
optparse: 命令行解析模块。
csv: CSV文件处理模块
docopt: 命令行解析模块
其他模块
logging 日志
subprocess 子进程管理模块
itertools 一个创建快速、高效迭代器的模块
timeit: 测量小代码片段的执行时间
数学运算
math 数据函数
random 随机数
Python三方包
Faker-生成虚假数据
Selenium-Web自动化测试工具
Pandas-数据分析
Click-命令行工具
Nosetests-单元测试
IPython-Python交互式shell
glob-查看目录下所有路径
Pydantic-定义数据接口Schema
网络爬虫
requests-对HTTP协议进行高度封装,支持非常丰富的链接访问功能。
PySpider-一个国人编写的强大的网络爬虫系统并带有强大的WebUI。
bs4-beautifulsoup4库,用于解析和处理HTML和XML。
Scrapy-很强大的爬虫框架,用于抓取网站并从其页面中提取结构化数据。可用于从数据挖掘到监控和自动化测试的各种用途
Crawley-高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等
Portia-可视化爬取网页内容
cola-分布式爬虫框架
newspaper-提取新闻、文章以及内容分析
lxml-lxml是python的一个解析库,这个库支持HTML和xml的解析,支持XPath的解析方式
selenium-一个调用浏览器的driver,通过这个库可以直接调用浏览器完成某些操作,比如输入验证码,常用来进行浏览器的自动化工作。
文档/数据处理工具
XlsxWriter-操作Excel工作表的文字,数字,公式,图表等
win32com-有关Windows系统操作、Office(Word、Excel等)文件读写等的综合应用库
pymysql-操作MySQL数据库
pymongo-把数据写入MongoDB
smtplib-发送电子邮件模块
pdfminer-一个可以从PDF文档中提取各类信息的第三方库。与其他PDF相关的工具不同,它能够完全获取并分析 P D F 的文本数据
PyPDF2-一个能够分割、合并和转换PDF页面的库。
openpyxl- 一个处理Microsoft Excel文档的Python第三方库,它支持读写Excel的xls、xlsx、xlsm、xltx、xltm。
python-docx-一个处理Microsoft
数据分析可视化
matplotlib-Matplotlib 是一个 Python 2D 绘图库
numpy-NumPy 是使用 Python 进行科学计算所需的基础包。用来存储和处理大型矩阵,如矩阵运算、矢量处理、N维数据变换等。
pyecharts-用于生成 Echarts 图表的类库
pandas-一个强大的分析结构化数据的工具集,基于numpy扩展而来,提供了一批标准的数据模型和大量便捷处理数据的函数和方法。
Scipy: 基于Python的matlab实现,旨在实现matlab的所有功能,在numpy库的基础上增加了众多的数学、科学以及工程计算中常用的库函数。
Plotly-Plotly提供的图形库可以进行在线WEB交互,并提供具有出版品质的图形,支持线图、散点图、区域图、条形图、误差条、框图、直方图、热图、子图、多轴、极坐标图、气泡图、玫瑰图、热力图、漏斗图等众多图形
wordcloud-词云生成器
jieba-中文分词模块
WEB开发架构
Django-一个开放源代码的Web应用框架。全家桶工具完整生态圈
Tornado-一种 Web 服务器软件的开源版本。Tornado和现在的主流Web服务器框架(包括大多数Python的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快
Flask是轻量级Web应用框架,相比Django和Pyramid,它也被称为微框架。使用Flask开发Web应用十分方便,甚至几行代码即可建立一个小型网站。Flask核心十分简单,并不直接包含诸如数据库访问等的抽象访问层,而是通过扩展模块形式来支持。
机器学习
NLTK-一个自然语言处理的第三方库,NLP领域中常用,可建立词袋模型(单词计数),支持词频分析(单词出现次数)、模式识别、关联分析、情感分析(词频分析+度量指标)、可视化(+matploylib做分析图)等
TensorFlow-谷歌的第二代机器学习系统,是一个使用数据流图进行数值计算的开源软件库。
Keras -是一个高级神经网络 API,用 Python 编写,能够在 TensorFlow,CNTK 或 Theano 之上运行。它旨在实现快速实验,能够以最小的延迟把想法变成结果,这是进行研究的关键。”
Caffe-一个深度学习框架,主要用于计算机视觉,它对图像识别的分类具有很好的应用效果
theano-深度学习库。它与Numpy紧密集成,支持GPU计算、单元测试和自我验证,为执行深度学习中大规模神经网络算法的运算而设计,擅长处理多维数组。
Scikit-learn-是一个简单且高效的数据挖掘和数据分析工具,它基于NumPy、SciPy和matplotlib构建。Scikit-learn的基本功能主要包括6个部分:分类,回归,聚类,数据降维,模型选择和数据预处理。Scikit-learn也被称为sklearn。
transforms 机器学习高度封装包,神器,内置超多模型
xgboost 机器学习分类预测模型
其他常用
IPython-一个基于Python 的交互式shell
pygame-专为电子游戏设计的一个模块
PIL(Pillow)-PIL库是Python语言在图像处理方面的重要第三方库
OpenCV-图像和视频工作库
Py2exe: 将python脚本转换为windows上可以独立运行的可执行程序。
代码格式规范化
autopep8:自动格式化 Python 代码,以使其符合 PEP8 规范。
black:一个坚定的 Python 代码格式化工具
isort:用于纠正包导入顺序的 Python 库
Python进阶
7 大原则与 24 种设计模式(🔥)
魔法函数
代码优化工具
数据类型底层实现原理
装饰器
生成器/迭代器/单线程实现(🔥)
动态构建类和函数
数据结构(🔥)
编码规范
异步编程
Python算法
数据结构
算法详解
趣味算法题
算法小结
Python资源
Python23 差异对比
Python资源大全中文版(🔥)
Python资源大全英文版
Python术语对照表
优质学习资源
Github-Python系统设计入门(184K)
Github-Python算法(138K)
Github-Python学习100天(130K)
Github-awesome-Python(130K)
Gitub-Python脚本(25K)
收藏
收藏
0 条评论
下一页