hbase程序流程
2017-01-24 11:59:09 0 举报
登录查看完整内容
HBase程序流程主要包括以下几个步骤：首先，客户端通过HBase的API连接到HMaster服务器；然后，客户端通过RPC协议向HMaster服务器发送获取表信息的请求；接着，HMaster服务器返回表信息给客户端；客户端根据表信息创建表、删除表或者修改表结构；最后，客户端通过RPC协议向HRegionServer服务器发送读写请求，HRegionServer服务器处理请求并将结果返回给客户端。在整个过程中，HMaster服务器负责管理HRegionServer服务器，包括负载均衡、故障恢复等。
作者其他创作
大纲/内容
离线数据T+1更新
后端工程
前台
按name分区，插入表adi_kl_pm_personalized_crowd_prepared_1d中
交集后的算法人群-商品且算法人群中排序靠前满足配资资源量级的人群
写入商品数据到redis
算法人群表
步骤2:配置方案
按优先级倒排后取前N个
创建方案
是否限制资源
kaola-coupon-compose\t
方案投放前，起任务将算法表人群准备就绪
标签 label A'
是
否
mysql
智能匹配
组合标签label C
调用同步商品配置和商品列表
BI
步骤1：配置BU资源限制
执行投放
算法表人群
bi-pm-sys
与黑名单标签组合，生成label C，方案对应的标签
组合公共标签 label B
是否选择选择仍要触达
跑投放SQL逻辑，使用到label C
kaola-miniapp
用户访问
结束
impala
校验是否通过
创建2个方案，写入方案表、标签表、投放任务表
redis
dg-mobile-compose
智能营销业务系统
写入表adi_kl_pm_personalized_crowd中
获取url对应的商品，写入impala表中
获取数据
按层级刷新，label C的数据准备就绪
调用
定时任务
以模块id+模块排期+人群id为唯一标识，将对应的商品和规则写入缓存其中，缓存key为数据库主键id，值为商品list/对应的规则
商家
方案投放
kaola-market-compose
商品打分
组合生成labelA
用户
对每一个商品模块，调用impala生成商品id
投放时间前2小时
小程序后台
写入商品数据到DB
配置资源是否大于限定人群
Hbase
redis缓存
计算结果
调用获取商品和图片配置信息
dubbo提供者
创建方案成功
配置模块和人群对应的规则
kaolarec-engine
rec-haitao-http
人工圈定，标签A'
不分AB
读取SQL脚本，全量人群
读取redis数据，写入内存
方案配置的条件&&资源限制
判断搭建返回的数据是否满足需求
是否商品模块
开始
配置UCC
微信小程序
同一个脚本，用limit限制
是否限定人群
模块id、
PC
inventory
dubbo消费者
交集结果作为个性化/差集结果作为对照
kaola-marketms-web
是否第三方模块
根据不同业务需要，从底层数据聚合指标
商品和pushclick_usrgoods_v5_i2i 表在猛犸关联，产出表导入impala
kaola-gateway-compose
与商品表关联获取需要替换的变量
校验算法表人群是否就绪
配置方案名称（*）和方案备注
创建一个方案，写入方案表、标签表、投放任务表
kaola-mpbackend-fed
消息通知数据变化，重新读取商品信息到内存
请求
haitao-message
bi-crm-compose
全量人群和限定人群做交集/差集
调用获取商品基础数据列表
配置资源是否大于算法
移动端
输入：账号、模块id、模块排期id、页面id
前端工程
交易消息
响应
POP CRM系统
promotion-redpacket-compose
输入页面url或者页面id
数据存储
执行强刷逻辑
个性化集合：交集后的算法人群-商品标签中未推荐的人群，作为兜底人群，补足个性化量级与资源量级要求之间的差
存储SYS_LABEL表
H5
自定义标签label A
dg-recsync-compose
bi-data-compose
配置人群
kaola-market-web
dubbo
buy-process
是否配置人群
kaola-activity-fed
选品系统
获取方案配置的商品url
MySQL
kaolarec-marker
每天定时跑一次
分AB标签生成label B
搭建系统
0 条评论
回复 删除
下一页
