NLP学习计划
2022-01-16 22:58:13 88 举报AI智能生成
NLP学习计划
作者其他创作
大纲/内容
Python基础
Python基本语法
函数
类
返回函数的函数
装饰器
生成器
迭代器
常用库包
numpy
一个数学运算库，可以进行矩阵等操作
要求会创建矩阵、向量等，实现矩阵的乘法、求最大值等操作
pandas
一个数据分析的库
要求会使用pandas进行数据分析，查询，提取
工具
jupyter lab
是一个交互界面，可以用他来学习pandas等库，可视化
机器学习基础
数学上
一阶导
泰勒展开
梯度下降
理解为什么负梯度方向是函数下降最快的方向
利用梯度下降的原理，实现求解平方根
利用二阶导牛顿法的原理实现求解平方根
重点在于理解核心几个部件、导数、梯度、学习率、误差
线性回归-基于值的方式
https://www.bilibili.com/video/BV1j3411t7VM?p=13
它是以后的模型训练的基础，是算法的原型
逻辑回归-基于值的方式
https://www.bilibili.com/video/BV1j3411t7VM?p=23
线性回归-基于矩阵的方式
基于矩阵的方式，是以后算法的基础原型，以后的大模型训练都是基于矩阵的
逻辑回归-基于矩阵的方式
BP反向传播算法-基于矩阵
该算法是多个线性回归模型的堆叠
该算法，是利用梯度下降算法实践的一种形式，他是以后所有模型的基础
使用BP反向传播，实现手写数字识别，可以很好的锻炼对算法的理解能力
工具上
sklearn
一个机器学习库
要求会使用sklearn实现简单的模型算法
NLP技术
word2vec
NLP的一种词向量手段，是NLP词变成向量的基础
他的实现其实就是一种BP模型，利用逻辑回归为损失函数
CNN
卷积神经网络
只需要了解其原理即可
RNN
递归神经网络
理解清楚并写出来
LSTM
长短时期记忆网络
理解清楚并写出来
Transformer
变形金刚
理解清楚，并能够复现
BERT
对transformer的利用
HuggingFace
一个优秀的NLP开源框架，调调包就解决了一切问题
用会他你将能够解决很多问题
备注
1. 以关键词查找，顺序学习，跳着看，看重点。理解差不多就行
2. 参考课程：
https://www.bilibili.com/video/BV17y4y1m737?p=196
推荐理由：该教程看起来比较全面，时间较短，可以抽着看
https://www.bilibili.com/video/BV1j3411t7VM?p=24&spm_id_from=pageDriver
推荐理由：该课程是我们自己录制的，与这个写的符合程度较好
https://www.bilibili.com/video/BV1mA411v7Nv?p=52
推荐理由：吴恩达是业内响当当的，有时间可以抽着看看英文的
其他课程，都以关键在在网上能找到很全的资料
当你需要训练大模型的时候，就需要很好的GPU设备，那时候我可以提供资源
0 条评论
下一页
