客服架构
2020-04-02 14:28:30 0 举报埋点架构推荐流程
作者其他创作
大纲/内容
离线流
筛选出埋点类型数据
web展示
推荐结果封装传回前端
3.将推荐的咨询id返回
前端触发推荐接口请求
总的日志
阿桃算法模型
公司内部封装一个接口主要功能1.负责接收一半页面级别的埋点上报2.负责推荐接口请求的埋点上报
埋点相关数据收集
mr 离线数据清洗
会议讨论方案
优点：速度快缺点：对机器性能有要求
大数据拉取系统日志，接收到数据
大数据Data Flow
微调内容java去做数据分包搜集刘华建上报数据请求
实时流
上图虚线部分流程
域名+微服务接口基础的埋点上报
数据清洗入库
推荐相关数据去对应topic拉去数据
李磊接口
调用推荐接口的返回数据
kafka
前端测试结果页的相关推荐功能
4.根据咨询id查其他明细数据
5.返回前端需要的pojo
1.向李磊接口提交请求
接口调用的数据封装生成对应日志
1.json串字段2.处理技术栈
presto
1.json串2.spark/flink实时拉取数据清洗存到hive
前端调用接口上报埋点数据用户点了那个点位的信息
推荐算法计算推荐结果
1.上报json串2.高并发
推过来对应槽位，用户信息
前端上报数据
flume：拉去日志新增记录kafka：消息中间件flink/spark sql：数据处理hive：数据存到hive中
数据库中相关信息
数据处理入库
推荐接口
2.向推荐算法接口请求推荐结果
0 条评论
下一页
