01 - Feature 特征工程 - 业务架构图
2021-09-16 13:52:04 23 举报特征工程
作者其他创作
大纲/内容
select
特征操作特征注册/上线
特征工程流程
特征操作
模型预测(Tf-serving)
特征流程
后置处理
特征元数据特征标签 Schema 初始化(user/item/context)
特征标签Schema
特征配置
特征计算
已点击去重
特征元数据
特征生产(user)特征清洗/转换
Redis
projectId
featureType
featureId
featureLabels
project1
user
1
2
3
save
特征合并
离线特征
实时特征
物品特征
load
特征存储Hive
其他
已存在
Flink 实时更新
特征服务特征查询
物品特征表
特征生产(user)特征工作上线
推荐服务
Yesreturn
Flink 解析计算
特征消费
Embedding 是一种更高阶的特征处理方法，它具备了把序列结构、网络结构、甚至其他特征融合到一个特征向量中的能力
特征获取
特征工程
特征查询
用户特征
算法数仓开发
Dynamic diagram
特征生产(Service)
特征实时更新Flink/Kafka
索引召回
特征存储Cassandra
模型请求
Cassandra
特征数据接入SDK(H2C)
Hive
模型部署服务
特征服务
业务服务
模型描述
特征元数据特征标签 Schema 配置(lable/type)
特征接入服务
重排序
特征管理
用户特征数仓表
模型预测
特征生产(Flink)
获取特征
模型描述文件解析
Process特征保存接口
Loca Cache
特征生产(user)特征合并/组合
物品特征数仓表
特征标签example
用户特征表
指定模型
kafka
离线特征(Loop)
特征查询Process
特征生产
待建设
特征生产(user)特征导入 SDK(H2C)
用户Embedding
Container Diagram
特征存储
Flink 实时同步
Hive 数仓Partition(H)
特征标签管理
Process 特征处理
Nobuild cache
L2Cache
特征管理服务
item
LocalCache
f1
f2
fn
v1
vn
v2
v3
特征接入
ml_feature_itemspan style=\"font-size: inherit;\
策略1
模型服务(在线预测)
特征缓存
Process特征查询接口
行为日志
组装排序
L1Cache
用户
特征生产(user)新建特征生产工作流
特征计算Hive/Spark
特征应用
Hive 数仓
Kafka
获取配置
特征批量更新Hive/Spark
特征组装
模型召回
物品Embedding
获取用户特征
向量检索
特征服务用户特征表
特征元数据特征列表
深度模型
特征血缘
算法工程师
特征清洗
特征数据接入API
策略2
特征服务(在线特征/向量获取)
获取物品特征
排序
Flink 接入服务
特征注册
ItemId
特征1
特征2
其他擦略
前置处理
召回
已推荐去重
特征服务接口(HTTP)
update
特征工作流
特征接入 Topic
UserId
过滤
Milvus
特征下线
0 条评论
下一页
