用户画像架构图

通过Phoenix表中的数据，实现数据可视化

hadoop集群HDFS

数据源

点击流日志数据

用户访问日志数据

web 界面展示

设计到的表：用户表

Sparksql 集群

获取hive元数据信息并进行数据处理

用户信息数据

数据可视化

将最终的用户画像模   型表映射到Hbase

Hive 数据仓库

       Hbase 集群

sparkSql处理

创建Phoenix与Hb ase之间的映射表

用户交易数据

Phoenix 引擎

数据仓库

设计到的表：订单表                    订单明细表                    订单商品表                    购物车表

1、数据业务处理流程如上图所示．数据源端 ——> hadoop 集群——>  hive 数据仓库——>  Sparksql 处理——>  hive 数据仓库——> base 集群——>  Phoenix ——> web 界面2 、最终我们会把不同的模型表分析的 sQI ，封装在一个 shell 脚本中执行．这里会涉及到相关的依赖．我们可以采用 azkaban 调度框架。3 、对于用户基本信息数据、用户交易数据、用户访问信息数据，由于是离线分析计算、可以每天定时去执行任务，按天进行分区．然后将各自所有历史数据进行了汇总而统计分析出来的，用户最后模型宽表的生成。 4 、最终模型表的生成不需要每天去跑，它是对以往大 量 数据进行分析处理．可以设置好时间定时去跑．比如：每个 3 个月、或者每隔 6 个月跑一次，形成最终的模型宽表数据，构建用户画像。

FlumeSqoop上传等...

数据采集