推荐系统学习
2024-11-14 16:27:33 11 举报AI智能生成
推荐系统学习
作者其他创作
大纲/内容
一、推荐系统的基本问题
什么是推荐系统
推荐系统评价效果
计算损失
TopK推荐
覆盖率：挖掘长尾；多样性：覆盖不同领域；实时性：刚买了房子赶紧推装修
推荐系统经典流程
离线+近线+在线（召回+粗排+精排）
离线通常跑较大的模型与算法，先得到当前数据的大致结果，一定时间更新一次
粗排通常会跟着用户走，用户做了什么事，推荐结果也会随之更新
在线模块需要根据业务规则来返回最终呈现结果
涉及技术点分析
Embedding方向：如何更好的表示数据，肯定不用one-hot
隐向量的方法
FM及其DeepFM算法
NLP方向：如何基于文本数据来进行推荐
文本处理方法
LDA,词向量,矩阵分解
知识图谱方向
CV方向
卷积不仅仅能应用在图像/视频数据中，矩阵数据都可以尝试
特征工程与深度学习方向
数据维度大，稀疏度高一直都是一个大难题，与深度学习结合能更简单
深度学习更适合NLP与图像数据，符合当下用户行为数据
二、协同过滤与矩阵分解
协同过滤
基于用户的协同过滤算法
首先找到相似用户（相似度计算）
计算属性特征，行为特征等
User1喜欢1,2,3,4；User3当前喜欢2,3，如果这俩用户计算后相似度较高，就可以把1,4推给User3
存在的问题：数据稀疏：商品多，购买少，计算复杂度，人是善变的，冷启动问题：新用户来了怎么办？
基于物品的协同过滤算法
先得到用户与商品的交互数据
此时发现商品1和3经常在一起出现（相关度）
User3目前只买了商品2和3，此时可以推给他商品1
商品（种类）比用户少的多；商品属性通常比较固定，特征获取容易，而且基本不会改变；即便上架了新商品，它自身也有各种标签，不会像用户一样是张白纸
矩阵分解
为什么分解
矩阵稀疏；数据量大
分解举例：跟找中介租房子差不多，通过中介来重新组合矩阵
最终目标就是把每个用户对各个商品的喜好预测出来
抽象问题
用户-歌曲之间的行为数据，1代表听过该歌曲，0表示没有
一个非常稀疏的矩阵
目标：预测空白值到底等于多少
矩阵分解
user-item矩阵分解
得到user,item两个矩阵
user(m*k),item(k*n)=m*n(用户，音乐)
隐向量
目标函数
用户矩阵：
商品矩阵：
隐式情况分析
通常收集的数据都是用户的行为：观看时间，点击次数等指标
定义置信度：
置信度默认为1，表示用户没有产生行为的商品；行为越多，置信度越大
定义评分：
（有行为的则评分为1）
新的优化目标：
子主题
求解过程依旧交替使用最小二乘法，固定Y优化X，再固定X优化Y
Embedding的作用
三、音乐推荐系统实战
0 条评论
下一页
