首页  思维导图  详情

Haddop

2020-06-09 09:44:39   0  举报





AI智能生成

hadoop知识点覆盖

hadoop

作者其他创作

大纲/内容

分布式存储hdfs

NN元数据管理：Secondary NameNode的备份

nn的恢复机制

分段锁 + 双缓冲机制

达到512k,就会交换内存

checkpoint的条件

距离上一次checkpoint的数据量 > 100w条日志

距离上一次checkpoint的时间 = 1h

安全模式

阈值：99.9%

dn启动后会向nn上报block信息，判断是否缺失，即完成的block/总block数 < 99.9% ？

dn会向nn发送心跳，判断存活的dn个数（默认是0）

判断磁盘空间是否充足，默认 > 100M

心跳机制

恢复副本

3s一次

rebalance 负载均衡

hdfs的读流程

1. 客户端与NameNode通讯获取文件的块位置信息，其中包括了块的所有冗余备份的位置信息：DataNode的列表
2. 客户端获取文件位置信息后直接同有文件块的DataNode通讯，读取文件
3. 如果第一个DataNode无法连接，客户端将自动联系下一个DataNode
4. 如果块数据的校验值出错，则客户端需要向NameNode报告，并自动联系下一个DataNode

hdfs的读写流程

写异常时的解决方案

读发生错误时的解决方案

1、read过程中断了，则再连接另外一个近的副本去读取数据，此DN会告诉nn不再从哪个节点读取数据

2.读取数据不完整：读取数据时会带上从Nn获取到的checksum与读取完数据后的checksum做比较，不一致，则丢弃，从另一个节点重新读，并重新复制一份副本，干掉数据错误的节点上的副本

当一个block写完时，发送一个空的packet,dn通过该这个空包来判断写完一个block

HA 方案

ZKFC -> Zookeeper

解决单点故障的方案

Linux的共享存储目录，可以存元数据

Zookeeper集群

一个NN存ZK