预估平台总体架构图
2017-02-07 15:55:20 0 举报
登录查看完整内容
预估平台总体架构
作者其他创作
大纲/内容
离线用户画像
特征管理
组合参数
获取原始特征
异地时直接查找热门排序
设置配置
分流缓存
预测/排序最终结果
基础特征
扶持商户排序提前
记录日志
实时推荐时发生的异步调用
特征处理模块
调用过程，不在实时推荐时发生（可能是系统启动时，每天定时，或更改配置时发生）
商户画像
复合模型
分流策略配置
召回商户/团单
商户/团单排序召回
表示组件组合，被包含关系
更新数据
根据团单立减金额重排
解释引擎
回溯日志收集
实时用户画像
反序列化模型
训练数据在各特征的分布文件
模型配置管理
用户画像服务（实时、离线）
产出特征处理方法文件
其他规则
模型分流
如果用户在异地，直接返回城市热门排序结果，不使用模型预测
获取分流结果（模型）
特征分布数据
查询模型所需特征
团单画像
分配到的模型
可能需要对原ABTest系统进行改动
特征处理方法
立减金额查询服务
模型训练平台spark mllib
商户/团单索引
模型预测
后置规则
模型预测引擎
组合特征
实时推荐时发生的同步调用，及结果返回过程
训练样本，特征数据Hive数据仓库
获取特征
处理后的特征
产出模型（PMML文件）
预测/排序请求
业务规则引擎
业务场景（CTR预估，ICON排序，团单排序等）
推荐解释
实时用户画像更新模块Storm Topology
一个业务场景可分配多个模型，每个模型对应一个实验，可配置流量比例。
扶持商户查询服务
获取模型所需特征及特征处理方法
模型预测/排序初步结果
表示两个模块之间不是通过直接函数调用而进行的数据流动过程
加载预测模型
ABTest系统
前置规则
基础模型
训练样本数据
模型管理
同城/异地排序规则
默认城市热门排序数据库
0 条评论
回复 删除
下一页
