NLP Baseline
2024-04-02 16:49:08 2 举报AI智能生成
nlp学习基础知识
作者其他创作
大纲/内容
语言模型的早期形式-N-gram
释“语言模型的内涵是一种用于计算和预测自然语言序列概率分布的模型”，并通过N-gram模型来解释语言模型如何通过分析语言数据来建立数学模型推断和预测下一个单词，并通过代码实践实现一个
N-gram语言模型
N-gram语言模型
词的向量表示
使用Word2Vec模型将词汇表达为词向量，以捕捉词汇之间的语义关系。
Word2Vec的Skip-Gram和CBOW算法
神经概率语言模型 (NPLM)
搭建一个以RNN网络为内部层结构的神经概率语言模型，预测句子中的下-
个单词。
个单词。
Transformer的基础架构-序列到序列-Seq2Seo
Seg2Seg在处理序列到序列的任务时具有优势，以及如何利用Seg2Seq模型处理各种序列到序列任务
搭建一个以RNN网络为内部层结构的Seq2Seq模型，完成简单的文本翻译任务。
Transformer的核心机制-详解注意力Attention
缩放点积注意力编码器-解码器注意力、自注意力 (Self-Attention) 、多头注意力 (Multi-Head Attention) 的
注意力机制如何帮助Seq2Seq模型捕捉长距离依赖和实现并行计算
ChatGPT的内核-Transformer
Transformer模型的关键技术和底层逻辑
起搭建一个完整的Transformer模型，并完成一个文本翻译任务
生成式语言模型-GPT
何准备数据、搭建模型架构、进行训练和评估，实现文本生成任务
从GPT到ChatGPT-基于人类反馈的强化学习
过基于人类反馈的强化学习方法来优化ChatGPT模型，实现更高质量的生成效果。
Prompt Engineering(提示工程)
过GPT-4(3.5)API实战来介绍Prompt Engineering(提示工程)的原则、技巧，以及注意事项。
OpenAIAPI的使用方法
总结和学习路径
Subtopic
Page
Subtopic
知识路径
Subtopic
0 条评论
下一页
