推荐系统
2020-06-02 10:33:44 38 举报AI智能生成
推荐系统笔记
作者其他创作
大纲/内容
多角度
构建知识框架
传统推荐模型
CF
UserCF
ItemCF
矩阵分解
优点：
1.泛化能力
2. 空间复杂度低
3. 更好的扩展性和灵活性
1.泛化能力
2. 空间复杂度低
3. 更好的扩展性和灵活性
缺点：
不方便加入其他特征
不方便加入其他特征
LR
训练方法：梯度下降法
优势：
能够融合多种类型的不同特征
1. 数字含义上的支撑 CTR预估
2. 可解释性
3. 工程化需要 模型简单，训练开销小，并行化
能够融合多种类型的不同特征
1. 数字含义上的支撑 CTR预估
2. 可解释性
3. 工程化需要 模型简单，训练开销小，并行化
缺点：
1. 表达能力不强，不支持特征交叉
1. 表达能力不强，不支持特征交叉
FM【隐向量特征交叉】
辛普森悖论
在分组比较中占优势的一方，在总评中有时反而是失势的一方
权重参数：nk n>>k k隐向量维度
复杂度：nk
训练方法：
优点：隐向量特征交叉
缺点：记忆能力稍差，不易扩展到三阶特征交叉阶段
FFM]【引入特征域】
参数数量：n*k*f
复杂度：kn^2
进一步加强特征交叉能力
训练开销到了O(n^2)的量级，训练开销大
GBDT+LR【特征工程模型化】
GBDT 构建特征，LR预估CTR
GBDT
学习方式：梯度提升
深度：特征交叉的阶数
优点：
更高阶特征组合能力
end to end
更高阶特征组合能力
end to end
缺点：
容易过拟合
无法进行完全并行的训练，训练时长较长
容易过拟合
无法进行完全并行的训练，训练时长较长
LS-PLM【MLR】
思路：
1. 全量样本聚类
2. 在样本分片中应用LR
1. 全量样本聚类
2. 在样本分片中应用LR
优点：
1. 端到端的非线性学习能力
2. 模型的稀疏性强【L1 L2正则】
1. 端到端的非线性学习能力
2. 模型的稀疏性强【L1 L2正则】
深度学习时代
演化关系图
改变神经网络的复杂程度
改变特征交叉的方式
FM模型的深度学习演化版本
注意力与推荐系统的结合
序列模型与推荐系统的结合
强化学习与推荐系统的结合
AutoRec
单隐层神经网络推荐模型
基本原理：
利用协同过滤中的共现矩阵，完成物品向量或者用户向量的自编码
利用自编码的结果得到用户对物品的预估评分
进行推荐排序
利用协同过滤中的共现矩阵，完成物品向量或者用户向量的自编码
利用自编码的结果得到用户对物品的预估评分
进行推荐排序
优化目标
训练方法
缺点：单层表达能力较差
Deep Crossing
特征的自动深度交叉
网络结构图
利用 Embeding层+多隐层+输出层 预完成特征的自动深度交叉
缺点：全连接隐层进行特征交叉
NeuralCF
CF与深度学习结合： 基于用户向量和物品向量，利用不同互操作层进行特征的交叉组合，
灵活进行不同互操作层的拼接
灵活进行不同互操作层的拼接
矩阵分解 vs NeuralCF
多层神经网络+输出层 替代 内积操作
广义矩阵分解：用户与物品向量互操作层
NeuralCF混合模型
不同互操作网络得到的特征向量拼接
优势：拟合能力强
缺点：没有引入更多其他类型的特征
网络结构图
PNN
加强特征交叉能力
网络结构图：
与deep Crossing类似，Product Layer代替了deep Crossing的Stacking
与deep Crossing类似，Product Layer代替了deep Crossing的Stacking
Embeding/Product Layer/全连接隐层L1 L2/CTR
多种特征交叉方式
内积
外积
所有特征降维【相当于平均池化】
谨慎对待
优势：交叉方式多样性
缺点：
为了训练效率，简化操作
所有特征无差别交叉
为了训练效率，简化操作
所有特征无差别交叉
Wide&Deep模型
Wide【记忆能力】
模型直接学习并利用历史数据中物品或者特征的共现频率的能力
处理大量稀疏的ID类特征
Wide&Deep
Wide【记忆能力】
处理大量稀疏的ID类特征
Deep【泛化能力】
进行深层的特征交叉，挖掘特征背后的数据模式
优点： 开创了组合模型的构造方法，对深度学习推荐系统的后续发展产生重大影响
缺点：wide部分需要人工进行特征组合的筛选
模型的进化版本： DCN(Deep & Cross Network)
Cross网络替换原来Wide部分
增加特征之间的交互力度
自动化交叉，避免更多人工特征工程
缺点： 复杂度较高
Deep【泛化能力】
模型传递特征的相关性，及发掘稀疏甚至从未出现过的稀有特征与最终标签相关性的能力
进行深层的特征交叉，挖掘特征背后的数据模式
模型的进化版本：Deep& Cross
记忆能力和泛化能力
记忆能力
模型直接学习并利用历史数据中物品或者特征的“共现频率”的能力
泛化能力
模型传递特征的相关性及发掘稀疏甚至从未出现
过的稀有特征与最终特征相关性的能力
过的稀有特征与最终特征相关性的能力
FM与深度学习模型的学习
FNN
用FM的隐向量完成Embeding层初始化
加快了整个网络的收敛速度
缺点：主结构比较简单，没有针对性的特征交叉层
DeepFM
Wide&Deep 基础上，用FM替代原来的线性Wide部分
加强了Wide部分的交叉能力
NFM
用神经网络代替FM中二阶隐向量交叉的操作
与FM相比，表达能力和特征交叉能力更强
缺点：与PNN模型结构相似
注意力机制
AFM
注意力+FM
DIN
注意力+深度网络
DIEN
序列模型
创新点：如何构建 兴趣进化网络
缺点
训练复杂度
串型推断
强化学习
行动-反馈-状态更新
DRN
DQN
在线训练方法：竞争梯度下降算法
Embeding
Word2vec
目标函数
训练方法
负采样
无法计算所有词的预测误差
层级soft max
Item2vec
利用的 物品序列 由特定用户的浏览，购买等行为产生的历史行为记录行为
摒弃时间窗口概念，认为序列中任意两个物品都相关
双塔模型
广义Item2vec:物品向量化方法统称
Graph Embeding
局部敏感哈希
工程实现
评估
前沿
facebook
Airbnb
YouTube
阿里巴巴
0 条评论
下一页
