Hadoop-HDFS
2023-03-22 15:06:45 0 举报
Hadoop-HDFS结构图
作者其他创作
大纲/内容
机架感知是一种计算不同计算节点（TaskTracker）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗.
定时同步edits
DN
内存存储数据的元数据信息Block块与DN的映射
第二个副本其他机架任意DN
机架感知
第三个副本第二个副本所在机架的任意DN
ZooKeeper
基本一致
发送请求询问block地址
依据NameNode返回的地址找到DN
客户端
SNNStandby NameNode2.x/Secondary NameNode1.x
DN（DateNode）1.存放的是文件的数据信息和验证文件完整性的校验信息2.汇报：A.启动时：a.汇报之前先验证block文件是否损坏b.向NN汇报DN上的block信息B.运行中：a.向NN保持心跳b.可以读写数据
ZKFC
依据机架感知返回地址
磁盘fsimage->初始化创建只要同步到edits就开始合并成fsimage到达阈值拍摄快照edits->存储元数据从JournalNode上同步
第二个副本其他机架的任意DN
edits
磁盘fsimage->初始化创建edits->存储元数据2分钟/个、上限100wedits_inprogress_0000000000001
ANNActiveNameNode
第三个第二个副本的所在机架的其他DN
ZKFC主备切换
HDFS
机架感知策略
QJM（Quorum JournalNode Manager 共享存储系统）实现原理和Zookeeper的一致( Paxos)JournalNode不要求所有的JN节点都接收到日志，只要有半数以上的（n/2+1）节点接受收到日志，那么本条日志就生效
登录在DN
第一个副本根据网速选择距离最近的机架中最快的DN
JN（JournalNode）
第一个副本本地DN
将合并好的fsimage转发给ANN
0 条评论
回复 删除
下一页
