大数据实时计算框架
2021-02-02 10:40:11 6 举报大数据实时计算框架
作者其他创作
大纲/内容
topic:mobilecharge
SparkStreaming
用户历史表Kudu
sqlserver[SD_DATA_ADV].[rpt].[Adv_UrlMonitor]
记录kafkatopic的偏移量
设备历史表Kudu
登录接口获取用户（AccountId）首次登录信息
HBase
事件表（mobilelogin）30天用户登录行为数据Kudu
按产品、AccountId、天充值数据
Hdfs
按产品、渠道、平台，日周月算出 留存数据
topic:ADV
按产品、AccountId、天消费数据
数据格式按Adv_UrlData按产品，渠道、平台、媒体选择、投放人员、日周月汇总点击数数据
topic:mobilelogin
Kudu
Redis
kafka
按产品、渠道、平台，日周月算出充值1-30金额，充值账号数、消费金额，消费账号数、新增账号数
左右两侧数据按产品、渠道关联媒体选择、投放人员
topic:mobileconsume
0 条评论
下一页
