推荐系统数据处理流程图
2024-04-24 17:38:02 0 举报推荐系统数据处理流程图
作者其他创作
大纲/内容
Hbase表:Dp_life_info
否
模型排序
大鹏业务系统
实时推荐引擎
Hbase表:Dp_dirty
Topic：dp_rt_log
model_train.xml
离线数据清洗模块
Topic：dp_life_info
数据预处理
数据清洗模块--定时任务
RedisDataBase:13
数仓模块
Hbase表:Dp_topic_info
结构化数据提取
Hbase表:Dp_vrecom_result
运营环境
Topic:dp_life_info
Hbase表:Dp_life_filter
是
推荐引擎1
推荐引擎2
实时数据清洗模块
输出推荐结果
Topic:like
Data_struct.xml
Hbase表:Dp_rt_log
脏数据？
Data_dirty.xml
model_sort.xml
FileBeat
Model_data_process.xml
RDS
Log文件
Kafka
Hbase表:Dp_vmodel_merge
Data_duplicate.xml
Hbase表:Dp_student_clazz_info
批次内去重
Flume
Hbase表:Dp_vmodel_result_candidate
Topic：like、commet
模型过滤
Hbase表:Dp_vmodel_result_1
Hbase表:Dp_train_data_2
Hbase表:Dp_vmodel_result_rt
model_merger.xml
model_filter.xml
模型融合
LogStash
运行系统Kafka
0 条评论
下一页
