二、hbase数据写入流程
2022-08-16 14:46:26 0 举报hbase数据写入流程
作者其他创作
大纲/内容
2.4 ack 反馈
八、原来的有清理数据的文件迁移到archive
getOrCreateRegionStateNode
文件写完后迁移到mobdata目录
HTable
AssignmentManager#start
遍历所有store的kev-value元素
HMobStore
七、bulckLoad新合并文件
new thread
0-获取meta所在Region信息
大
【HMobStore】 1. MSLAB，全称是 MemStore-Local Allocation Buffer，解决了HBase因Region flush导致的内存碎片问题，以 Memstore 为最小单元格的内存管理机制
finishActiveMasterInitialization
MobStoreFileWriter先写入./tmp临时目录
assignmentManager#waitOnAssignQueue
RegionStateNode通过zk获取region信息
四、从临时目录写入到mob数据目录
六、提交到mobdata目录
AssignProcedure#startTransition
Hbase启动 Region分配过程
3 mob file
小
入队等待分配
StoreFile
一、select选择需要压缩的文件
迁移历史文件
异步线程支持小文件合并
WAL
assignmentManager#joinCluster
commit
普通StoreFileWriter
客户端
put
2.3 写入缓存
2.2 匹配对应Region
assignmentManager#moveAsync
/hbase/meta-region-servermeta表所在region信息
procedureExecutor提交
Region1
删除数据文件合并
2 根据Row + Region元数据信息 查询到对应的Region的Server
RegionServer 2
AssignmentThread
processAssignQueue具体分片处理
二、遍历所有需要删除数据的文件
assignmentManager#processAssignmentPlans
BalancerChore#chorereblance任务region分配
LoadBalancer#balanceCluster
Zookeeper
五、先合并到temp目录
pendingAssignQueue
InitMetaProcedure初始化hbae:meta表
生成负载均衡分配计划
3 刷新文件
收集已经提交需要分配的Region
Hbase
有删除数据的文件+ 小于阈值的文件【默认1280M】
提交最终合并文件
value大小比较
HMaster#run
根据分配计划执行分配
1-缓存meta表
HMobStore刷新流程
MobCompactionChore(定时任务) => PartitionedMobCompactor【mob major compact流程】
2.1 先落预写日志
RegionServer 1【meta 表】
创建MemStoreSnapshot
三、递归合并文件去除需要删除的数据
收藏
收藏
0 条评论
下一页
