大数据平台
2020-11-13 18:18:41 0 举报AI智能生成
大数据平台架构思维导图
作者其他创作
大纲/内容
工作应用
业务相关
用户画像
风险控制
决策相关
数据科学的领域，了解统计学、算法
数据科学家
工程相关
如何实施、实现、解决什么业务
数据工程师
工程核心
数据源
特点决定数据采集和数据存储的技术选型
四种
内外部
内部主动写入
CRM
Hadoop
mongo
Apache Kafka
ORACLE
外部网络拉取
获得外部数据本身提供的api
调用api获取，如微信
写爬虫获取
特点
数据结构不一致，需要转换和清洗加工
ETL，由ETL进行数据提取、转换、加载，清洗、去重、去噪
结构化和非结构化数据
结构化偏向文件，NoSQL数据库
不变可添加数据，可修改可删除数据
前
增量同步策略
后
数据量大小
大
高延迟
batch处理方式
实时分析
流式处理
Lambda架构
数据存储
相同数据多种表现形式，存储不同类型数据库中
poly-db数据冗余生态
按数据源分类
三种
数据源的类型和采集方式
采集后数据的格式和规模
分析数据的应用场景
场景
场景一
舆情分析
选择用ES，在单机上做了一个简单的测试，大概三亿多条数据，用最坏的查询条件进行搜索，保证这个搜索是全表搜索（基于Lucence创建了索引，使得这种搜索更高效），整个查询时间能控制在几秒以内
场景二：商业智能产品
对数据集进行分析（聚合运算为主）
Parquet列式存储
要求
既要满足大数据量的水平可伸缩
同时满足高性能的聚合运算
场景三：Airbnb大数据平台
数据来源
大量的事件
本身的业务数据
技术处理：
日志数据通过Kafka
线上通过Sqoop
为什么不是flume，这里是指已经得到后的考量？
数据存储选择HDFS
通过Presto对Hive表执行 即席查询
数据处理
业务角度
查询检索
数据挖掘
统计分析
深度分析
机器学习
神经网络
技术角度
Batch SQL
流式处理
machine learning
Deep learning
编程模型
离线编程模型
内存编程模型
实时编程模型
0 条评论
下一页
