大数据分析
2020-09-25 16:50:51 28 举报AI智能生成
数据分析架构
作者其他创作
大纲/内容
大数据分析步骤流程
1.明确分析目的和思路
认知
网站访问
IP、PV、人均页面访问量、访问来源
熟悉
网站浏览
平均停留时间、跳出率、页面偏好
站内搜索
搜索访问次数占比
试用
用户注册
注册用户数、注册转化率
使用
用户登录
登录用户数、人均登录、访问登录比
用户订购
订购量、订购次数、内容、转化率
忠诚
用户粘性
回访客比率、访问深度
用户流失
用户流失数、流失率
2.数据收集
爬虫
3.数据处理（把不干净的数据变成干净的数据）
数据清洗
非格式性数据转化为格式型数据
数据转化
变成能够分析的数据
数据提取
提取出想要的数据
数据计算
数据的再次处理
4.数据分析
MySQL
Hive
Hbase
kudu
redis
5.数据展现
6.报告撰写
组织结构
平台组（偏运维）
大数据平台环境搭建
集群性能监控
※集群性能调优
数据仓库组
ETL工程师（收集过来的数据变成可以分析的数据）
java、spark
Hive工程师-数仓建模和数据分析
sql
数据挖掘组
※算法工程师
推荐系统工程师
用户画像工程师
根据用户的行为描述用户的类型、消费层级、性格，能个看透消费者
报表开发组
javaEE工程师
数据可视化
0 条评论
下一页
