推荐架构
2023-07-03 17:00:23 3 举报推荐架构
作者其他创作
大纲/内容
stream procession实时数据流
builder server训练和构建
p2p模型分发
Index server索引服务
发布平台
biz_02server
代表近线服务
7 RoughSort task评估排序质量
impression server追踪广告和内容推荐展示
原始日志
8 输入user embedding iids 输出iids score
代表消息对列
代表存储系统
增量更新
item server
2 输入传递用户信息，输出多个item id以及ad id
文章画像
服务器曝光
用户展现记录
窗口聚合
更新用户特征
审核平台
3.1 根据用户id召回ad
8.1.2 输入：图计算特征输出：模型分
4 Recall task召回任务
用户信息
1 输入uid/场景信息，输出feed可展示数据
用户行为日志
代表离线服务
近线/离线/异步操作
featrue score特征评分
14 数据加工/清洗
ad server广告服务
文章存储
去业务打包
候选
11.1 服务端展现日志
模型dump
代表批流一体服务
9 输入item list和ad list输出最终展示item和ad list
7.1.1 输入embedding输出user embedding
爬虫系统
12.1 并行打包
5 获取文章正排信息
离线更新embedding
12 输入：item id，输出：打包信息
engine server引擎服务器
7.1.2 输入fids，输出embedding
rank server排序服务
biz_01server
5 ItemInfo task收集、维护
增量更新embedding
用户画像
batch聚合
8 Rank task排序/排名任务
11.2 写入消重历史存储中
4.2 倒排召回
回写
kafka数据流同步
客户端曝光
6 读取消重
rule server调整顺序、加权
8.1.1 获取embedding
realtime parameter server实时参数服务器
13 api日志上报
10 ack通知rank server发送stream feature
joiner server数据整合和关联
batch parameter server
cache server缓存服务
4.1 向量召回
7.1 输入uid、输出user embedding
feed server内容分发服务
3.2 请求推荐引擎获得上百个item id
7.1 输入uid、输出user embedding
predict特征算法span style=\
7.2 输入ids、user embedding输出item score
倒排
stream processing
user feature server用户特征服务器
streamingfeatue
scan候选&倒排
6 Merge task合并任务
mod server模型服务器
在线服务关键操作
缓存dislike列表等
数据切换
MLOPS模型部署和版本控制
8.1 输入item id liset输入item score
代表核心子任务
rediscache
online parameter server在线参数服务器
代表在线服务
resort server重排
离线文件分发
0 条评论
下一页
