HDFS
2022-01-29 10:47:35 11 举报HDFS运行
作者其他创作
大纲/内容
Secondary NaneNode
Block2数据、数据长度、校验时间戳
Block3数据、数据长度、校验时间戳
DataNode2
fsimage.chkpoint
IO
Replication
内存128G每个Block元数据占150byte4.内存数据增删改
2.注册成功
edtis_inprogress_002
Client
2.请求执行CheckPoint
2.元数据增删改请求
5.超过10分钟+30秒没有受到DataNode3的心跳则认为该节点不可用
edtis_inprogress_001
DataNode1
client
Block1数据、数据长度、校验时间戳
NameNode
选择最近的机器读取数据，如果数据损坏就读别的副本
IO操作→
fsimage
4.心跳每3秒一次，心跳返回结果带有NameNode给DataNode的命令
3.滚动正在写的Edits后续的写到下一个文件
8.重命名为fsimage
NameNode启动和工作流程→
edits_001
1.DataNode启动后想NameNode注册
6.生成新的fsimage
DataNode
1.加载编辑日志和镜像文件到内存
告诉文件在哪
4.拷贝到2NN
DataNode启动和工作流程→
5.合并
DataNode3
一份数据写在自己的机架上，另外两份数据写在另外的机架上
告诉文件该写哪
CheckPoint触发条件：1.定时时间间隔2.Edits中的数据满了
3.记录操作日志，更新滚动日志
1.write
元数据2 DataNode注册成功
1.read
3.周期(每6小时)上报所所有块信息
内存
1.请求是否需要checkpoint
0 条评论
下一页
