大数据架构详解
2018-05-10 18:48:13 400 举报AI智能生成
《大数据架构详解：从数据获取到深度学习》读书笔记，这本书作为入门读物，不适合全文阅读，利用思维导图，快速回顾学习大数据基础知识即可，若对哪部分技术感兴趣，需单独深入学习
作者其他创作
大纲/内容
大数据概述
一、大数据是什么
大数据导论
大数据简史
大数据线状
大数据与BI
企业的数据资产
大数据的挑战
二、运营商大数据架构
五个层次
发展趋势
三、运营商大数据业务
SQM运维质量管理
CSE客户体验提升
MSS市场运维支撑
DMP数据管理平台
大数据技术
四、数据获取
数据分类
探针
原理
探针的关键能力
InfiniBand
爬虫
原理
抓取策略
更新策略
系统架构
Flume日志收集
数据分发中间件
五、流处理
算子
流的概念
应用场景
金融股票k线
电信领域的质差补偿
Storm
Spark
融合技术
Lambda
Flink
Google Cloud Dataflow
CEP
结合机器学习
Eagle
机器学习模块
六、交互式分析
MPP DB
MPP
MPP数据仓库架构分类
典型的MPP数据库
Greenplum架构
DB2与MPP的区别
Sybase IQ
MPP DB适用场景
SQL on Hadoop
Hive
Phoenix
Hbase
Impala
大数据仓库
OLTP/OLAP
七、批处理技术
MPP DB
Map Reduce
Shuffle
Spark
BSP框架
一些基本模型
PRAM模型
LogP模型
C3模型
BDM模型
基本原理
特点
评价
BSP与MapReduce
hama
批处理关键技术
八、机器学习和数据挖掘
区别
典型过程
机器学习
学习方式
监督式学习
非监督式学习
半监督式学习
强化学习
算法类似性
回归算法
基于实例的算法
正则化算法
决策树算法
贝叶斯算法
基于核的算法
聚类算法
关联规则学习
人工神经网络算法
深度学习算法
降低维度法
集成算法
交互式分析
深度学习
机器学习的背景
关于特征
深度学习的基本思想
与神经网络
训练过程
深度学习的框架
九、资源管理
基本概念
目标和价值
使用限制和难点
hadoop领域的资源调度框架
YARN
Borg
Omega
其他框架
资源分配算法
区别
数据中心统一资源调度
Marathon
介绍了安装和使用
多租户技术
数据库三种隔离方法
三种多租户方案
基于应用描述的智能调度
Mesos
十、存储
存储硬件
关键指标
RAID
存储接口
HDFS
读写操作
存储加速技术
数据组织技术
缓存技术
十一、大数据云化
应用上云
微服务架构
运行
定义
通信
部署
监控与度量
测试
优势
不足
Docker
大数据上云
集群模式
服务模式
大数据文化
十二、开发文化
0 条评论
下一页
