人力资源‘’蓄水池‘’推荐系统业务流程图
2021-07-01 16:35:17 1 举报推荐系统业务流程图
作者其他创作
大纲/内容
hdfs
用户/商品画像
评分矩阵
DNN
实时计算
Tensor Flow
flume
hbase集群存储
用户反馈数据
排序模型
注：并发多线程
注：全程进程管理supervisor包括flume，hdfs，spark，kafka
als模型
实时流式计算
推荐中心服务层
hdfs/本地
请求
离线定时结果
Android
注：ABtest就是不同用户采用不同的推荐算法，评测模型的优良性
算法训练平台
定时批处理
ios
GRPC推荐接口服务ABtest
用户属性商品属性
基础数据层
拿推荐结果
redis
用户行为日志
用户矩阵相似度矩阵
模型文件输出
注：就是用户从redis中读取 ，数据量变少，然后系统就请求推荐服务开始更新写入redis中
GBDT
hive
FM
WEB业务
离线计算
Spark MLlib
业务数据
LR模型
召回结果
实时召回结果
返回结果
行为记录
多路召回
hdfs上传upload
特征抽取特征转化（用户的行为数据）（spark SQL）
业务新数据新入商品
特征转化属性，行为数据
数据源
历史推荐数据spark SQL
人力资源‘’蓄水池‘’推荐系统业务流程图
kafka
三方数据
sqoop增量导入
注：hbase和redis中是所有用户当日的推荐结果是消费者模型
spark streaming
web
新商品
0 条评论
下一页
