Hadoop

ResourceManager

分布式计算

Node Manager

DataNode

split-1

split-3

MapReduce执行流程

NameNode

5

分布式存储

6

YARN架构图-资源管理和任务调度

索引服务器

Driver：驱动大管家

Hadoop2.x版本产生4大模块

Hadoop生态系统Hadoop：分布式存储（HDFS）、分布式计算（MapReduce）、资源调度与任务管理（YARN）、CommonLucene：索引检索工具包；Solr：索引服务器Nutch：开源的搜索引擎HBase/Cassandra：基于谷歌的BigTable开源的列式存储的非关系型数据库Hive：基于SQL的分布式计算引擎，同时是一个数据仓库；Pig：基于Pig Latin脚本的计算引擎Thrift/Avro：RPC框架，用于网络通讯BigTop：项目打包、测试、部署Oozie/Azakban：大数据的工作流框架Chukwa/Scribe/Flume：数据收集框架Whirr：部署为云服务的类库Sqoop：数据迁移工具Zookeeper：分布式协调服务框架HAMA：图计算框架Mahout：机器学习框架

Spark基于内存计算

Client

map-2

7

存储数据：1、文件名、创建时间、文件大小2、文件与block块对应关系3、block与机器对应关系

3.8

Container

split-2

Hadoop Common网络通讯（RPC框架）

Hadoop HDFS分布式存储

Map Task

Shuffle流程1、shuffle写入      mapper进程将输出数据到本地磁盘上2、shuffle读取      reduce进程从mapper磁盘上读取数据

机器B

B1

Hive写SQL转MapReduce

4

NodeManager

机器A

2

ApplicationsManager

NameServer

MR APPMstr

Storm实时计算

1、文件名、创建时间、大小2、文件与block块映射关系3、block与DataNode的对应关系

1、通过爬虫爬取网页数据

1、获取文件名称、文件与block关系、block与DataNode关系

2、往服务器上存储网页block

3、Shuffle流程

机器C

ResourceManager1、处理客户端请求2、启动/监控ApplicationMaster3、监控NodeManager4、资源分配与调度ApplicationMaster1、程序切片2、为应用程序申请资源并分配任务3、任务监控与容错

map-1

将输出数据写到HDFS上存储

App Mstr

2、Mapper进程处理各个切片

1、将输入文件切成多个分片

B2

YARN流程

HDFS存放的文件

reduce-2

YARN资源管理和任务调度

NodeManager1、单个节点上的资源管理2、处理来自ResourceManager的命令3、处理来自ApplicationMaster的命令Container对任务运行环境的抽象，封装了CPU内存等多维资源以及环境变量、启动命令等任务运行相关的信息。

网络爬虫

Reduce Task

HDFS架构图-分布式存储

1

B3

MapReduce

2、连接DN进程读写数据

ResourceScheduler

reduce-1

hadoop前世今生1、搜索引擎：网络爬虫+索引服务器（生成索引+检索）2、Doung Cutting写了lucene包（生成索引+检索）3、Nutch：网络爬虫+索引服务器（lucene封装）   a.分布式存储？   b.分布式计算？4、2002年开源GFS论文，Doung Cutting写了HDFS模块，解决了分布式存储5、2004年谷歌开源了MapReduce论文，Doung Cutting写了MapReduce模块6、Nutch0.9版本后将HDFS和MapReduce模块拆分出来，形成了一个大数据处理框架Hadoophadoop概述1、四大模块：common、hdfs、mapreduce、yarn2、hdfs(hadoop distributed file system)：分布式文件系统 2.1、文件系统：文件管理+block块管理        单机文件系统：windows：FAT16，FAT32，NTFS（文件格式）； linux：ext2/3/4，VFS2.2、分布式文件系统：多个服务器存储文件2.3、三大组件：NameNode，DataNode，SecondaryNameNode2.3.1、 NameNode:元数据：文件名、目录名、属性（生成时间、权限、副本）；文件名与block列表映射关系；span style=\"font-size: inherit;\

3、索引服务器调用driver的存储数据去各个服务器上取网页block块数据进行分析

4、reduce进程进行数据的聚合操作

编程模型：Mapper和ReducerMap阶段：拆分Reduce阶段：聚合思想：分而治之

map-3

Flink基于内存计算

Hadoop MapReduce分布式计算（处理慢）

5、将Reduce阶段输出的数据写到HDFS上