HBase架构
2018-11-07 10:04:41 1 举报
hbase架构及运行原理
作者其他创作
大纲/内容
zookeeper.session.timeout
hbase.cluster.distributed
StoreFile
HFile
负载均衡
缺省端口是 60010的web接口
数据模型
export HBASE_MANAGES_ZK=false
getTableRegions
the userspace tables
master start --backup
HDFS
标识该节点,缺失则无法启动conf/zoo.cfg,dataDir目录:echo number myid
DataNode
MemStore
bin/hbase master start
mutateRow
updates/deletes a row
over
控制
Store
循环完regionservers
主服务器Web接口
true
...
start master-backup.sh
循环完backup-master
HRegionServer节点用于:1、存放和管理本地HRegion。2、读写HDFS,管理Table中的数据。3、Client直接通过HRegionServer读写数据(从HMaster中获取元数据,找到RowKey所在的HRegion/HRegionServer后)。
HRegionServer
HLog
执行ssh -e \"远程操作命令\"
HMaster均衡负载和调度
getTableNames
备用HMaster当主master宕掉后,起用其中之一
start master
... DFS Client
myid
zookeeper
HRegion
./bin/hbase-daemons.sh [start|stop] zookeeper
空
create with the specified column families
HBase
zookeeper start
disableTable
takes it off-line
regionserver start
HMaster
start-hbase.sh
1、确认JAVA_HOME2、确认CLASSPATH3、读取conf/hbase-env.sh4、HASE_SSH_OPTS 指定ssh端口配置5、regionservers机器列表6、backup-masters机器列表
Client
zookeepers.sh
Master/Slave架构搭建集群( HMaster节点、HRegionServer节点、ZooKeeper集群 )数据存储于HDFS中,涉及到NameNode、DataNode等
一个HRegionServer管理多个HRegion,每个HColumnFamily对应一个Store;一个Store有一个MemStore和多个StoreFile,StoreFile是HFile的轻量级封装;HRegionServer有一个HLog,所有的HRegion共享。
getColumnDescriptors
the regions associated with a table
本机运行
backup-masters
deleteTable
Deletes a table
enableTable
enables it
HMaster节点用于:1、管理HRegionServer,实现其负载均衡。2、管理和分配HRegion,比如在HRegion split时分配新的HRegion;3、在HRegionServer退出时迁移其内的HRegion到其他HRegionServer上。4、实现DDL操作(Data Definition Language,namespace和table的增删改,column familiy的增删改等)。5、管理namespace和table的元数据(实际存储在HDFS上)。6、权限控制(ACL)。
false
mutateRows
updates/deletes any rows
start regionserver
exec zookeepers.sh + 参数
ZooKeeper集群是协调系统,用于:1、存放整个 HBase集群的元数据以及集群的状态信息。2、实现HMaster主从节点的failover。
0 条评论
下一页