特征工程-轻装
2021-08-26 10:15:19 0 举报
为你推荐
查看更多
特征工程
作者其他创作
大纲/内容
特征提取
暂时不做线上实时
离线训练1.建设宽表2.用户...3.内容...4.label、上下文
HIVE SQL
特征工程
核心API
训练样本（Spark）1.加载配置文件2.基于宽表、调用API提取特征3.样本落地
特征配置文件
数据库
离线快照1.上报埋点2.redis缓存落hdfs
数据层
线上预估1.spark streaming2.flink
实时特征
Hbase
JAVA JAR
实时推荐服务1.加载配置文件（同模型文件上线/平台配置/Redis/Hbase）2.数据读取、缓存统一接口
PgSQL
离线特征（格式统一json/PB）
线上预估1.Redis2.Hbase3......
1.一致性（调用相同的API）2.通用性（离散性、连续型）3.避免重复开发4.提升效率（有新增算子，需要发版）
0 条评论
回复 删除
下一页
