HDFS
2023-03-28 14:59:14 8 举报hdfs角色
作者其他创作
大纲/内容
每3s和NN保持心跳，我还活着
fsimage_checkpoint
NameNode
拷贝
fsimage
edits_inprogress_xxx
HDFS启动时可能会有些DN启动失败，从而导致失败的节点无法访问，为了不给客户端提供无效节点，所以需要DN每6小时上报自己的节点信息，如果发现Block的副本数不满足集群环境会在3s一次的心跳返回让其他DN进行数据块的复制避免数据丢失影响系统
SecondaryNameNode
合并后产生的文件
DataNode
请求执行checkpoint
DN
文件上传成功时
重命名
每6h节点信息上报，方便NN记录反馈给客户端
启动时将日志与镜像加载至文件
内存
收集Block信息
client
加载到内存并合并
1询问是否需要checkpoint文件是否需要合并，阈值1小时或者6M
保存文件的元数据信息，NN运行时元数据是放在内存中的，同时也会磁盘持久化是一份日志
写操作
接收和处理用户的操作请求，因为NN存放文件和Block文件的映射关系，所以客户端无法直接与DN交互，需要先再NN中拿到文件存储位置
edits_xxx
数据块的操作（复制块，删除块）当DN故障时，其他节点会去复制故障节点数据
edits_xxx01
集群启动时
收集DN的块与节点的信息
默认6小时上报
拷贝回
职业：本科
0 条评论
下一页
