推荐系统学习
2024-11-14 16:27:33 1 举报
AI智能生成
推荐系统学习
作者其他创作
大纲/内容
一、推荐系统的基本问题
什么是推荐系统
推荐系统评价效果
计算损失
TopK推荐
覆盖率:挖掘长尾;多样性:覆盖不同领域;实时性:刚买了房子赶紧推装修
推荐系统经典流程
离线+近线+在线(召回+粗排+精排)
离线通常跑较大的模型与算法,先得到当前数据的大致结果,一定时间更新一次
粗排通常会跟着用户走,用户做了什么事,推荐结果也会随之更新
在线模块需要根据业务规则来返回最终呈现结果
涉及技术点分析
Embedding方向:如何更好的表示数据,肯定不用one-hot
隐向量的方法
FM及其DeepFM算法
NLP方向:如何基于文本数据来进行推荐
文本处理方法
LDA,词向量,矩阵分解
知识图谱方向
CV方向
卷积不仅仅能应用在图像/视频数据中,矩阵数据都可以尝试
特征工程与深度学习方向
数据维度大,稀疏度高一直都是一个大难题,与深度学习结合能更简单
深度学习更适合NLP与图像数据,符合当下用户行为数据
二、协同过滤与矩阵分解
协同过滤
基于用户的协同过滤算法
首先找到相似用户(相似度计算)
计算属性特征,行为特征等
User1喜欢1,2,3,4;User3当前喜欢2,3,如果这俩用户计算后相似度较高,就可以把1,4推给User3
存在的问题:数据稀疏:商品多,购买少,计算复杂度,人是善变的,冷启动问题:新用户来了怎么办?
基于物品的协同过滤算法
先得到用户与商品的交互数据
此时发现商品1和3经常在一起出现(相关度)
User3目前只买了商品2和3,此时可以推给他商品1
商品(种类)比用户少的多;商品属性通常比较固定,特征获取容易,而且基本不会改变;即便上架了新商品,它自身也有各种标签,不会像用户一样是张白纸
矩阵分解
为什么分解
矩阵稀疏;数据量大
分解举例:跟找中介租房子差不多,通过中介来重新组合矩阵
最终目标就是把每个用户对各个商品的喜好预测出来
抽象问题
用户-歌曲之间的行为数据,1代表听过该歌曲,0表示没有
一个非常稀疏的矩阵
目标:预测空白值到底等于多少
矩阵分解
user-item矩阵分解
得到user,item两个矩阵
user(m*k),item(k*n)=m*n(用户,音乐)
隐向量
目标函数
用户矩阵:
商品矩阵:
隐式情况分析
通常收集的数据都是用户的行为:观看时间,点击次数等指标
定义置信度:
置信度默认为1,表示用户没有产生行为的商品;行为越多,置信度越大
定义评分:
(有行为的则评分为1)
新的优化目标:
子主题
求解过程依旧交替使用最小二乘法,固定Y优化X,再固定X优化Y
Embedding的作用
三、音乐推荐系统实战
0 条评论
下一页