人工智能基础883

import numpy as np # 输入矩阵 input_matrix = np.array([[2, 3, 1],                          [0, 3, 4],                          [1, 2, 3]]) # 卷积核 kernel = np.array([[1, 1],                    [2, -3]]) # 计算卷积，初始化一个2行2列的空矩阵 output_matrix = np.zeros((input_matrix.shape[0] - kernel.shape[0] + 1,                           input_matrix.shape[1] - kernel.shape[1] + 1)) for i in range(output_matrix.shape[0]):     for j in range(output_matrix.shape[1]):         current_region = input_matrix[i:i + kernel.shape[0], j:j + kernel.shape[1]]         # 计算卷积         result = np.sum(current_region * kernel)         print(             f"当前卷积区域为:\n{current_region}\n与卷积核乘积并求和的结果为: {result}")         output_matrix[i, j] = result # 打印卷积结果 print(f"卷积结果:\n{output_matrix}") # 在卷积操作之后应用ReLU激活函数 # 应用ReLU激活函数 relu_result = np.maximum(0, output_matrix) print(f"经过 ReLU 激活后的结果为:\n{relu_result}")

在基于 Transformer 的 Seq2Seq 模型中，编码器由多个 Transformer 层堆叠而成

对于输入序列，每个 Transformer 层都包含自注意力机制（Self - Attention）。自注意力机制能够让模型在处理每个词时，考虑到输入序列中其他词的信息，通过计算查询（Query）、键（Key）和值（Value）来实现。

除了自注意力机制，Transformer 层还包括前馈神经网络（Feed - Forward Neural Network）和层归一化（Layer Normalization）等操作。前馈神经网络用于对经过自注意力处理后的特征进行非线性变换，进一步提取特征，层归一化则有助于稳定模型训练

解码器同样由多个 Transformer 层组成

解码器中的 Transformer 层除了自注意力机制外，还包括掩码自注意力机制（Masked Self - Attention）。掩码自注意力机制用于在生成序列时，确保当前生成的词只依赖于已经生成的词，避免 “看到” 未来的词。

解码器还包括一个跨注意力机制（Cross - Attention），它用于在解码过程中关注编码器的输出。跨注意力机制使得解码器在生成目标序列时能够充分利用输入序列的信息

在传统的基于 RNN 或 LSTM 的 Seq2Seq 模型中，处理长序列时存在梯度消失或梯度爆炸问题，导致难以捕捉长距离的依赖关系。而 Transformer 的自注意力机制可以直接计算序列中任意两个词之间的关系，不受距离限制，能够很好地处理长序列的依赖关系。例如，在机器翻译长句子或处理长篇文档的摘要任务时，基于 Transformer 的模型能够更准确地捕捉词与词之间的语义联系。

RNN 和 LSTM 是顺序处理序列，难以并行计算，导致训练时间长。而 Transformer 的自注意力机制和前馈神经网络部分都可以并行计算，大大提高了训练效率。例如，在大规模数据集上进行训练时，基于 Transformer 的 Seq2Seq 模型能够更快地收敛。

基于 RNN 或 LSTM 的模型在信息传递过程中可能会丢失部分信息。Transformer 的多头注意力机制（Multi - head Attention）可以从多个角度关注输入序列，更好地整合和传递信息。在处理复杂语义关系时，多头注意力机制能够让模型从不同的语义维度去捕捉信息，提高翻译或生成的准确性。

由于 Transformer 本身的自注意力机制是位置无关的，通过引入位置编码（Position Encoding），能够在处理自然语言等有序数据时准确地考虑词序信息，避免了因位置信息缺失导致的语义理解错误。例如，在翻译任务中，能够正确区分 “我喜欢他” 和 “他喜欢我” 这种词序不同导致语义不同的句子。