深度学习方法发展历程
2023-07-02 10:20:46 2 举报深度学习方法发展历程（NN、CNN、RNN、Transformer、GNN）
作者其他创作
大纲/内容
深层CNN
处理非欧式空间文本数据
1
图神经网络GNN
深度学习方法发展历程
门控循环单元：GRU
不同卷积窗口大小的CNN
异构图神经网络：RGCN
权重数量少，易收敛和泛化
迭代膨胀CNN：IDCNN
3
局部范围扩大，使用并行加速计算
更强的特征学习能力，具有可迁移性
预训练：BERT
基于注意力机制的神经网络Transformer
充分利用文本全局特征
独立循环单元：IndRNN
span data-docs-delta=\
4
不同节点个数和层数的NN
循环神经网络RNN
全连接神经网络NN
卷积神经网络CNN
提取特征更显著
同构图神经网络：GCN
双向RNN：Bi-LSTM、Bi-GRU
2
较单向RNN有更高拟合度
解决RNN梯度消失与梯度爆炸问题，更好避免长期依赖
长短期记忆单元：LSTM
结构灵活但训练过程复杂
学习长文本序列特征，避免长期依赖
忽略无用特征，关注有用特征
简化LSTM模型结构
只有遗忘门的LSTM：JANET
重点关注文本序列特征
处理复杂的异构图，效果和表现更佳
处理简单的同构图
简化但性能优于LSTM
5
BERTology系列：RoBERTa
在专业领域表现更佳
0 条评论
下一页
