bert
2023-04-13 15:15:27 27 举报
BERT(Bidirectional Encoder Representations from Transformers)是一种基于深度学习的自然语言处理模型,由Google于2018年提出。它采用了Transformer架构,能够对文本进行双向编码,从而更好地理解上下文信息。BERT在各种自然语言处理任务中取得了显著的性能提升,如问答、命名实体识别、情感分析等。由于其出色的表现,BERT已经成为了自然语言处理领域的研究热点和工业界应用的关键技术之一。
作者其他创作
大纲/内容
归一化输入和输出
InputEmbedding
Encoder2
Encoder1
前馈神经网络(全连接层)
Positional Encoding
增加非线性能力
Encoder11
Linear
Output Probabilities
Add & Layer Normalization
Feed-Forward Network
softmax
......
注意力计算
Encoder12
多个transformer block组成
Multi-Head Attention
0 条评论
下一页