HDFS写数据流程
2022-11-24 14:53:58 0 举报全网最详细HDFS写数据流程
作者其他创作
大纲/内容
2 NameNode响应可以上传文件
7 传输数据 Packet（64k）packet (chunk512byte+chunksum4byte)
客户端
6 dn1应答成功
5 请求建立Block传输通道
7 blk_1
检查目录树是否可以上传文件
HDFSClient
4 返回dn1、dn2、dn3节点，表示采用这三个节点存储数据
3 请求上传第一个Block（0~128M）
副本存储节点选择4.1本地节点4.2其它机架一个节点4.3其它机架另一个节点
200m
5 请求建立通道
DataNode2
1 向NameNode请求上传文件
NameNode
FSDataOutputStream
DataNode3
create
close
7 blk_2
2.1检查权限2.2检查目录结构（目录是否存在）
6 dn2应答成功
Bytebuffer
0~128m
8 传输数据完成，向NameNode汇报，NameNode记录元数据
ss.avi
元数据
Distributed FileSystem
write
DataNode1
6 dn3应答成功
7 blk_3
0 条评论
下一页
