CBOW

CBOW（连续词袋模型）是一种用于生成词向量的深度学习模型。它通过学习上下文信息来预测当前词，即给定一个句子中的其他词，预测当前词是什么。CBOW模型由输入层、隐藏层和输出层组成，其中输入层接收上下文单词的one-hot编码，隐藏层计算这些单词的平均值或加权平均值，输出层则将隐藏层的输出映射到词汇表中的所有单词上，以获得当前词的概率分布。CBOW模型的训练过程通常使用梯度下降算法进行优化，目标是最小化预测误差。相比于Skip-gram模型，CBOW模型在处理稀疏数据时表现更好，因为它只需要考虑上下文单词的信息，而不需要像Skip-gram模型那样同时考虑目标单词和上下文单词。