首页  流程图  详情

Hbase 入门

2019-07-17 10:46:29   1  举报





HBase 入门

HBase

HBase 架构

作者其他创作

大纲/内容

HMaster_ThreadN

Stroe File

RS2.META.

Q：哪一个Refion能找到表UserInfo的行007？哪一个RegionServer为它提供服务？A：RS3的Refion3

regionname

HLog

Buffer_RegionN

. . .

Stroe

HRegionServer

RegionA

Mem Stroe

Buffer_Region1

Region寻址方式： 0.96 前

RSN

Write

Q：我要读取UserInfo的行007A：好的，拿去

RS3Table_Region

HFile

RS1

Distributed Log Replay

Client

HDFS

Buffer_Region2

Q：-ROOT- 在哪里？A：-ROOT- 在RS1上

HLogKey

NewRegionServer重放Hlog

StoreFile

Hlog

RS1-ROOT-

timestamp

Flush

Q：哪一个.META.能找到表UserInfo的行007？A：RS2的.META. Refion4上可以找到

1. 将待切分的日志文件夹进行重命名，防止RS未真的宕机而持续写入Hlog2. HMaster启动读取线程读取Hlog的数据，并将不同Region的日志写入到不同的内存buffer中。3. 针对每个buffer，HMaster 会启动对应的写线程将不同 Region 的 buffer 数据写入到HDFS中，对应的路径为``/hbase/table_name/region/recoverd.edits/.tmp``(未验证)。4. HMaster 重新将宕机的 RS 中的Rgion分配到正常的 RS 中，对应的 RS 读取 Region 的数据，会发现该 Region 目录下的recoverd.edits目录以及相关的日志，然后 RS 重放对应的Hlog日志，从而实现对应 Region 数据的恢复。

Hbase 架构

tablename

cluster ids

HMaster

Distributed Log Splitting

zookeeper

Region寻址方式： 0.96 后

MemStore

HRegion

1. Clent 请求ZK 获取.META. 所在的RegionServer的地址。2. Client 请求 .META. 表的RS地址，获取访问数据所在的 RegionSever 的地址。 Client 会将 .META. 相关信息 cache 下来，以便下一次访问。3. Client 请求访问数据所在 RegionSever

Hlog结构

RegionC

rename

sequenceid

DataNode

RegionServer

1. Client 请求 ZK 获得 -ROOT- 所在的 RegionSever 地址2. Client 请求 -ROOT- 所在的RS地址，获取 .META. 表地址， Client 会将 -ROOT- 相关信息 cache 下来，以便下一次访问。3. Client 请求 .META. 表的RS地址，获取访问数据所在的 RegionSever 的地址。 Client 会将 .META. 相关信息 cache 下来，以便下一次访问。4. Client 请求访问数据所在 RegionSever 的地址，获取对应得数据

RoeKey

UserInfo_Table Region2

004

name:xiaoliu age:30

005

name:lis2i age:10

006

name:lsisi age:1034

Q：.META. 在哪里？A：.META. 在RS2上

UserInfo_Table

001

name:zhangsan age:10