推荐系统数据处理流程图
2024-04-24 17:39:31 0 举报推荐系统数据处理流程图
作者其他创作
大纲/内容
否
数据预处理
Data_struct.xml
结构化数据提取
Topic:like
model_filter.xml
model_sort.xml
模型过滤
模型排序
model_merger.xml
model_train.xml
模型融合
Model_data_process.xml
推荐引擎1
实时推荐引擎
RDS
Flume
脏数据?
大鹏业务系统
实时数据清洗模块
运行系统Kafka
Hbase表:Dp_rt_log
Topic：like、commet
输出推荐结果
推荐引擎2
是
Hbase表:Dp_train_data_2
Hbase表:Dp_dirty
Hbase表:Dp_life_filter
Hbase表:Dp_topic_info
Hbase表:Dp_life_info
Topic:dp_life_info
Hbase表:Dp_vmodel_result_1
Hbase表:Dp_vmodel_result_candidate
Hbase表:Dp_vrecom_result
RedisDataBase:13
Data_dirty.xml
Hbase表:Dp_vmodel_merge
Hbase表:Dp_student_clazz_info
Topic：dp_rt_log
Data_duplicate.xml
数仓模块
Hbase表:Dp_vmodel_result_rt
Log文件
FileBeat
LogStash
Topic：dp_life_info
离线数据清洗模块
大鹏运营环境
数据清洗模块--定时任务
Kafka
批次内去重
0 条评论
下一页
