hdfs写源码
2021-08-31 10:47:07 0 举报hdfs写源码
作者其他创作
大纲/内容
package
create
renrew
获取block
目标机器
写packet
INodeDirevtory
FSVolum
WRITE_BLOCK
write
DataXceiver
chunk
写数据
ADD
上报写packet的结果
INodeFile
packet(64k)
LeaseRenewer
是否超过一个小时
后台启动一个线程监控契约是否过期
NamenodeRPCServer
LeaseManager
申请block
renewLease
addlease(create)
ResponseProcessor
磁盘
DistributedFileSystem
Located/block
DataXceiverServer
ackQueue
checksum
FSDirectory
FSEditLog
HDFS Client
Create
BlockManager
Datanode
PacketResponder
DataStreamer
如果成功就移除这个个packet
可排序的数据结构
BlockReceiver
DFSOutputStream
blk_0001
DataQueue
chunk:512+4byte
NameNode
socket
socket发送block
FSNameSystem
blockMap
BlockReceiver接受到数据时1.写数据到磁盘2.把packet写到ackQueue3.把这个packet发到下一个datanode节点
（过期）释放契约
RPC代理
BlockPlacementPolicy
创建block
每隔两秒
DFSClient
每个30秒续约一次
0 条评论
下一页
