Hadoop大数据处理
2019-02-28 18:32:55 0 举报AI智能生成
Hadoop大数据处理
作者其他创作
大纲/内容
第6章 大数据的分析处理
6.1 大数据的分析处理概述
6.2 Hive
6.2.1 系统架构及组件
6.2.2 Hive数据结构
6.2.3 数据存储格式
6.2.4 Hive支持的数据类型
6.2.5 使用HiveQL访问数据
6.2.6 自定义函数扩展功能
6.3 Pig
6.3.1 Pig架构
6.3.2 Pig Latin语言
6.3.3 使用Pig处理数据
6.4 Hive与Pig的对比
第7章 Hadoop环境下的数据整合
7.1 Hadoop计算环境下的数据整合问题
7.2 数据库整合工具Sqoop
7.2.1 使用Sqoop导入数据
7.2.2 使用Sqoop导出数据
7.2.3 Sqoop与Hive结合
7.2.4 Sqoop对大对象数据的处理
7.3 Hadoop平台内部数据整合工具HCatalog
7.3.1 HCatalog的需求与实现
7.3.2 MapReduce使用HCatalog管理数据
7.3.3 Pig使用HCatalog管理数据
7.3.4 HCatalog的命令行与通知功能
第8章 Hadoop集群的管理与维护
8.1 云计算平台的管理体系
8.2 ZooKeeper——集群中的配置管理与协调者
8.2.1 集群环境下的配置管理
8.2.2 ZooKeeper架构
8.2.3 ZooKeeper的数据模型
8.3 Hadoop集群监控的基础组件
8.3.1 Nagios
8.3.2 Ganglia
8.3.3 JMX
8.4 Ambari——Hadoop集群部署与监控集成工具
8.5 基于Cacti的Hadoop集群服务器监控
8.6 Chukwa——集群日志收集及分析
8.7 基于Kerberos的Hadoop安全管理
8.8 Hadoop集群管理工具分析
第9章 基于MapReduce的数据挖掘
9.1 数据挖掘及其分布式并行化
9.2 基于MapReduce的数据挖掘与Mahout
9.3 经典数据挖掘算法的MapReduce实例
9.3.1 矩阵乘法
9.3.2 相似度计算
9.4 基于云计算的数据挖掘实践及面临的挑战
第10章 面向未来的大数据处理
10.1 下一代计算框架YARN
10.2 大数据的实时交互式分析
10.2.1 Google Dremel
10.2.2 Cloudera Impala
10.3 大数据的图计算
10.3.1 BSP模型
10.3.2 Google Pregel计算框架
10.3.3 Apache Hama开源项目
第1章 大数据处理概论
1.1 什么是大数据
1.2 数据处理平台的基础架构
1.3 大数据处理的存储
1.3.1 提升容量
1.3.2 提升吞吐量
1.4 大数据处理的计算模式
1.4.1 多处理技术
1.4.2 并行计算
1.5 大数据处理系统的容错性
1.5.1 数据存储容错
1.5.2 计算任务容错
1.6 大数据处理的云计算变革
第2章 基于Hadoop的大数据处理架构
2.1 Google核心云计算技术
2.1.1 并行计算编程模型MapReduce
2.1.2 分布式文件系统GFS
2.1.3 分布式结构化数据存储BigTable
2.2 Hadoop云计算技术及发展
2.2.1 Hadoop的由来
2.2.2 Hadoop原理与运行机制
2.2.3 Hadoop相关技术及简介
2.2.4 Hadoop技术的发展与演进
2.3 基于云计算的大数据处理架构
2.4 基于云计算的大数据处理技术的应用
2.4.1 百度
2.4.2 阿里巴巴
2.4.3 腾讯
2.4.4 华为
2.4.5 中国移动
2.5 Hadoop运行实践
第3章 MapReduce计算模式
3.1 MapReduce原理
3.2 MapReduce工作机制
3.2.1 MapReduce运行框架的组件
3.2.2 MapReduce作业的运行流程
3.2.3 作业调度
3.2.4 异常处理
3.3 MapReduce应用开发
3.3.1 MapReduce应用开发流程
3.3.2 通过Web界面分析MapReduce应用
3.3.3 MapReduce任务执行的单步跟踪
3.3.4 多个MapReduce过程的组合模式
3.3.5 使用其他语言编写MapReduce程序
3.3.6 不同数据源的数据联结（Join）
3.4 MapReduce设计模式
3.4.1 计数（Counting）
3.4.2 分类（Classfication）
3.4.3 过滤处理（Filtering）
3.4.4 排序（Sorting）
3.4.5 去重计数（Distinct Counting）
3.4.6 相关计数（Cross-Correlation）
3.5 MapReduce算法实践
3.5.1 最短路径算法
3.5.2 反向索引算法
3.5.3 PageRank算法
3.6 MapReduce性能调优
3.6.1 MapReduce参数配置优化
3.6.2 使用Cominber减少数据传输
3.6.3 启用数据压缩
3.6.4 使用预测执行功能
3.6.5 重用JVM
第4章 使用HDFS存储大数据
4.1 大数据的云存储需求
4.2 HDFS架构与流程
4.2.1 系统框架
4.2.2 数据读取过程
4.2.3 数据写入过程
4.3 文件访问与控制
4.3.1 基于命令行的文件管理
4.3.2 通过API操作文件
4.4 HDFS性能优化
4.4.1 调整数据块尺寸
4.4.2 规划网络与节点
4.4.3 调整服务队列数量
4.4.4 预留磁盘空间
4.4.5 存储平衡
4.4.6 根据节点功能优化磁盘配置
4.4.7 其他参数
4.5 HDFS的小文件存储问题
4.5.1 Hadoop Archive工具
4.5.2 CombineFileInputFormat
4.5.3 SequenceFile格式
4.5.4 相关研究
4.6 HDFS的高可用性问题
4.6.1 基于配置的元数据备份
4.6.2 基于DRBD的元数据备份
4.6.3 Secondary NameNode/Checkpoint Node
4.6.4 Backup Node
4.6.5 NameNode热备份
4.6.6 HDFS的HA方案总结
第5章 HBase大数据库
5.1 大数据环境下的数据库
5.2 HBase架构与原理
5.2.1 系统架构及组件
5.2.2 数据模型与物理存储
5.2.3 RegionServer的查找
5.2.4 物理部署与读写流程
5.3 管理HBase中的数据
5.3.1 Shell
5.3.2 Java API
5.3.3 非Java语言访问
5.4 从RDBMS到HBase
5.4.1 行到列与主键到行关键字
5.4.2 联合查询（Join）与去范例化（Denormalization）
5.5 在HBase上运行MapReduce
5.6 HBase性能优化
5.6.1 参数配置优化
5.6.2 表设计优化
5.6.3 更新数据操作优化
5.6.4 读数据操作优化
5.6.5 数据压缩
5.6.6 JVM GC优化
5.6.7 负载均衡
5.6.8 性能测试工具
0 条评论
下一页
