hadoop架构解析

hadoop2.x

FailoverControllerStandby

5.ack packet

merge

HDFSClient

读写流程

Distributed FileSystem

heartbeat

fsimages

FSDataOutputStream

NN

DN

editlog

生成新的

JN

2.getlocation

DataNode

3.write

1、先要解决NN的高可用问题，所以引入ZKFC，借助zookeeper来实现NN的主备自动切换实现高可用2、因为NN多个了，我们需要解决NN直接的通信问题，所以引入了JN实现两个NN之间的状态同步，同时将原来的SNN的工作放到了standby的namenode中执行，不同的是editlog是从journalnode中获取3、因为JN扮演了一个桥梁的角色，所以他也不能单点故障，所以也要保证其高可用

监控健康状态

SNN

FSDataInputStream

心跳

Replication

FailoverControllerActive

5.read

NNActive

读取editlog变化并合并到fsimages中

1、NN单点，会有单点故障的风险

复制

元数据持久化分为两种模式：一种是基于second name node 的模式、基于HA的JN的模式

合并fsimages、edits文件

将editlog写入

1.create

2.create

fsimages.ckpt

1.open

zookeeper集群

3.read

editlog.new

同步并共享NN的状态

4.write packet

NNStandby

元数据持久化

hadoop1.x

4.read