算法 - 自然语言 NLP，LLM

基于乔姆斯基形式语言（Chomsky Formal languages）的编译器取得了很大进展，更加鼓舞了研究者通过概括语法规则来处理自然语言的信心。

但是与规范严谨的程序语言不同，自然语言复杂又灵活，是一种上下文有关文法（Context-Sensitive Grammars，CSGs），因此仅靠人工编写文法规则根本无法覆盖，而且随着编写的规则数量越来越多、形式越来越复杂，规则与规则之间还可能会存在矛盾。

Networks可以通过逐层预训练策略有效地进行训练，基于神经网络和反向传播算法（Back Propagation）的深度学习方法开始兴起。

许多之前由于缺乏数据、计算能力以及有效优化方法而被忽视的神经网络模型得到了复兴。例如 1997 年就已提出的长短时记忆网络（Long Short Term Memory，LSTM）模型在重新被启用后在许多任务上大放异彩。

贾里尼克的想法是要判断一个文字序列是否合理，就计算这个句子出现的概率，出现概率越大句子就越合理：
出现的概率取决于在句子中出现在它之前的所有词（理论上也可以引入出现在它之后的词语）。

但是，随着文本长度的增加，条件概率会变得越来越难以计算，因而在实际计算时会假设每个词语仅与它前面的个词语有关。即使是使用三元、四元甚至是更高阶的语言模型，依然无法覆盖所有的语言现象。在自然语言中，上下文之间的关联性可能跨度非常大，例如从一个段落跨到另一个段落，这是马尔可夫假设解决不了的。此时就需要使用 LSTM、Transformer 等模型来捕获词语之间的远距离依赖（Long Distance Dependency）了。

2013 年 Google 公司提出的 Word2Vec 模型真正将神经网络语言模型发扬光大。

Word2Vec 模型提供的词向量在很长一段时间里都是自然语言处理方法的标配，即使是后来出现的 Glove 模型也难掩它的光芒。

Word2Vec 的模型结构和 NNLM 基本一致，只是训练方法有所不同，分为 CBOW (Continuous Bag-of-Words) 和 Skip-gram 两种

CBOW 使用周围的词语来预测当前词。
Skip-gram 则正好相反，它使用当前词来预测它的周围词语。

有一片乌云一直笼罩在 Word2Vec 模型的上空——多义词问题。一词多义是语言灵活性和高效性的体现，但是 Word2Vec 模型却无法处理多义词，一个词语无论表达何种语义，Word2Vec 模型都只能提供相同的词向量

使用了双层，且双向的LSTM作为编码器来预训练，然后对于输入提取动态的各层词向量拼接。

ELMo 模型首先对语言模型进行预训练，使得模型掌握编码文本的能力；

然后在实际使用时，对于输入文本中的每一个词语，都提取模型各层中对应的词向量拼接起来作为新的词向量。

ELMo 模型采用双层双向 LSTM 作为编码器，如图从两个方向编码词语的上下文信息，相当于将编码层直接封装到了语言模型中。

训练完成后 ELMo 模型不仅学习到了词向量，还训练好了一个双层双向的 LSTM 编码器。

对于输入文本中的词语，可以从第一层 LSTM 中得到包含句法信息的词向量，

从第二层 LSTM 中得到包含语义信息的词向量，最终通过加权求和得到每一个词语最终的词向量。

但是 ELMo 模型存在两个缺陷：首先它使用 LSTM 模型作为编码器，而不是当时已经提出的编码能力更强的 Transformer 模型；

其次 ELMo 模型直接通过拼接来融合双向抽取特征的做法也略显粗糙。

特点

BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer架构 双向encoder的预训练 语言模型

BERT的原理主要包括两个关键点：Transformer架构下预训练-微调策略。Transformer是一种基于自注意力机制的深度学习模型，能够捕捉输入序列中的全局依赖关系，同时避免了传统的循环神经网络和卷积神经网络中存在的长距离依赖问题。

在预训练阶段，BERT使用大规模的未标记文本数据进行自监督学习，通过遮蔽语言模型（Masked Language Model，MLM）和下一句预测（Next Sentence Prediction，NSP）任务来学习文本表示。

在微调阶段，BERT将预训练好的模型参数Fine-tuning到特定的下游任务上，通过少量标记数据进行有监督学习，从而适应不同的NLP任务。

bert-base

bert-large

bert-base-multilingual-uncased

bert-base-multilingual-cased

...

BART（Bidirectional and Auto-Regressive Transformers）模型的设计核心包括双向编码器和自回归解码器的结合。

双向编码器和自回归解码器结合：编码器类似BERT，捕获上下文信息；

解码器类似GPT，擅长生成连贯的文本。

通过噪声添加（如文本删除或遮蔽）进行预训练，使其对复杂输入具有鲁棒性。

BART-BASE

BART-LARGE

...

Transformer 是一种基于自注意力机制的深度学习模型，最初由Google提出用于自然语言处理任务。

Transformer 模型的结构主要包括编码器（Encoder）和解码器（Decoder）两部分。

编码器（Encoder）：处理输入序列，生成上下文相关的表征（向量表示）。

解码器（Decoder）：基于编码器的输出（或自身输入）生成目标序列。

编码器（Encoder）

解码器（Decoder）

Transformer的核心思想是将输入序列中的每个词向量进行自注意力计算，得到每个词向量对于整个序列的重要性权重。
然后将这些权重与对应的词向量相乘并相加，得到每个词向量的上下文表示。
这种自注意力机制使得模型能够同时考虑到输入序列中的所有词，而不像RNN模型一样需要按顺序逐个处理。

在Transformer模型中，自注意力机制是实现序列建模的关键组件。它能够根据输入序列中不同位置的信息来计算每个位置的表示。具体来说，给定一个输入序列X={x1, x2, ..., xn}，自注意力机制会计算每个位置xi与其他位置的关联程度，并将这些关联程度作为权重来加权求和，从而得到每个位置的表示。

自注意力机制的计算过程可以分为三个步骤：计算注意力权重、加权求和和线性变换。首先，通过计算查询（query）、键（key）和数值（value）的内积，得到每个位置与其他位置的注意力权重。然后，将注意力权重与数值相乘并加权求和，得到每个位置的加权表示。最后，通过线性变换将加权表示映射到更高维的空间，以便后续的神经网络层进行处理。

Transformer模型还包括前馈神经网络层。前馈神经网络层由两个全连接层和一个激活函数组成，用于对每个位置的表示进行非线性变换。通过堆叠多层自注意力机制和前馈神经网络层，Transformer模型能够学习到更复杂的序列特征表示，从而提高模型的性能。

在Transformer中，除了自注意力层和前馈神经网络层，还包括了Layer Normalization和残差连接。Layer Normalization用于对每层的输入进行归一化处理，有助于加快训练速度和提高模型性能。残差连接则是将输入与输出相加，使得模型更容易学习残差信息，有助于避免梯度消失和加速训练过程。

Transformer模型通常采用基于注意力机制的损失函数进行优化，如交叉熵损失函数。通过最小化损失函数，模型可以学习到输入序列与目标序列之间的对应关系，从而实现序列到序列的映射。总的来说，Transformer模型通过引入自注意力机制和并行计算的方式，实现了对序列数据的高效建模和学习。

Transformer框架可以用于生成下一个单词或字符的概率分布。通过将前面的单词或字符作为输入，模型可以预测下一个单词或字符的概率。

并根据概率进行采样。这种方法可以用于生成文本、机器翻译、语音识别等任务。

文本生成API

对话API

模型架构的改进

训练方法的改进

数据来源的优化

同OPENAI

介词

代词

连接词

重读

爆破音

摩擦音

清辅音

浊辅音

辅音元音

元音元音

end

middle

pre

pre

end

在已经训练好的模型基础上，通过进一步训练来调整模型的参数，以适应特定的任务或数据集。

常见数据集上的参数，准备

Supervised Fine Tuning，有监督微调

Continue Pretrain，继续训练

文案生成，剧本创作，小说续写等生成类任务：1～3k。

文本分类：1～5k，和类别数量以及任务难易度强相关。

参考问答：2k~10k。任务较难的场景可能需要 1w 条以上。

epoch：模型训练轮数，通常选择 2～5，可以根据验证集 loss 曲线来判断：如果训练集 loss 曲线下降，验证集 loss 曲线上升，则说明模型已经过拟合，此刻应该停止训练；如果训练集和验证集 loss 曲线均在缓慢下降，则说明模型还未收敛，可以继续训练。此外，对于文案生成，小说创作等生成类任务，由于某些上下文逻辑及风格不能通过 loss 体现，所以不应仅看 loss 来决定模型何时停止训练，按经验来说，通常生成类任务 epoch 数可以略微设置大一点，如 5～10 范围内。

learning rate：学习率，设置较大时会加速模型迭代，但是模型可能无法收敛到最优点；设置过小时会使得模型迭代较慢，可能陷入局部最优。按照经验来讲，LORA 训练选择 learning rate在 1e-4 ~ 2e-4，全量 SFT 选择learning rate 在 1e-5 ~ 2e-5 即可。

lora alpha 和 lora rank：alpha 参数将模型权重进行放缩，rank 决定了 lora 训练参数量的大小，我们推荐二者参数设置为同一值。通常来讲，对于较简单的任务，推荐设置 lora alpha 和 lora rank 64；对于较复杂的任务，推荐设置 lora alpha 和 lora rank 为 128。

gradient_accumulation_steps：梯度累积是一种增大训练时batch size的技术，在本地使用 micro-batch 多次进行正向和反向传播积累梯度后，再进行梯度规约和优化器更新。当需要调大batch size时，可以调整该参数。

warmup step rate：通常不需要调整。当遇到模型在 SFT 训练开始时，loss 始终不降的问题时，可尝试调大 warmup step rate。

模型基座，加载预训练模型

损失变化

迭代日志，