安个家 - 数据部 - ItemCF - 20160610
2016-01-25 11:35:30 1 举报
安个家数据部在2016年6月10日完成了一个重要的项目,名为ItemCF(Item Collaborative Filtering)。这个项目旨在通过分析用户的行为和偏好,为用户推荐与其兴趣相符的商品或服务。ItemCF是一种协同过滤算法,它通过挖掘用户之间的相似性来预测用户对未接触过的物品的评分或喜好程度。这种方法可以帮助安个家更好地了解用户需求,为用户提供更加个性化的服务。总之,ItemCF项目的完成标志着安个家在数据挖掘和推荐系统领域取得了重要的进展。
作者其他创作
大纲/内容
结果写到 Hbase
映射存储在 Hbase 的数据表到 hive 中例如:ibcf 房源推荐表real_time.rt_property_inventory_recommend_ibcf
读取清晰后的源 HDFS 文件
日志服务器 bi0
Spark
写入
HDFS 在线日志收集/user/hive/real_time/source_data/access_log/${date}
Kafka 集群
Topic : accessLog 全站日志
Topic : UbaWebActionLog Web 行为日志
安个家实时日志收集系统
HBaseinventoryRecommend写到房源推荐表中
推荐系统 Service
推荐结果清洗后的固化dw_property_inventroy_recommend
发送日志
映射
accessLogBase 组消费
Topic : UbaAppActionLogAap 行为日志
Topic : ubaWebVisitLogWeb 访问日志
real_time. rt_access_log实时 access_log
HIve 数据仓库 - 数据分析平台
推荐对外接口数据da_property_inventroy_recommend
0 条评论
下一页