副本 Hbase迁移流程改进版
2019-08-28 19:58:40 0 举报
Hbase迁移流程改进版本v3
作者其他创作
大纲/内容
true
目标集群存在表，打印出存在的表信息并退出流程
false
9、分析表结构是否有coprocessor
true/or false
删除snapshot
22、目标集群restore snapshot记录成功与失败表
目标集群创建coprocessor目录，从原集群拷贝包到目标集群
打印源和目标是一个集群，退出
alter源集群和目标集群表属性
26、源和目标集群删除已经完成迁移的snapshot
创建失败，退出
29、enable peer
25、move_rsgroup_tables到指定rsgroup
create namespace
11、查看源集群是否有snapshot，如有先删除snapshot
19、开始迁移snapshot
1、分组调整
16、禁用peer
4、判断目标集群和源集群不是一个集群
4、输入待迁移表，生成列表
21、根据yarn成功列表查找目标集群snapshot，disable表，判断表是否disable
查看目标集群coprocessor包是否创建成功
6、调用源hbase集群hm获取表结构信息，返回预分区表结构，属性
20、获取yarn正在迁移的applicationid，写入成功文件，失败文件列表
23、enable并major_compact成功的表
2、查看yarn集群是否启动
7、判断源集群是否有备集群
建表语句创建表create
待迁移目标集群预分区建表，并创建test_peer表
15、判断peer是否已经disabled
5、is_exist判断待迁移表目标集群是否存在
判断namespace是否存在
等待手动重跑
28、Hbase hbck
14、判断源和目标集群test_peer表 是否有两条数据
17、创建表snapshot
开始
is_exist表是否存在，返回true或false
检查未能同步的问题，退出
24、scan
10、is_exists查看目标集群是否存在待迁移表及test_peer表，返回失败列表
disabletable
停止迁移进程，停止正在执行yarn application
将成功restore的表从待迁移列表删除
判断迁移是否手动终止
完成
是否重跑
建立表级别源集群到目标集群peer，以及目标集群到原集群的peer
手动终止任务
13、分别对源集群及目标集群test_peer表put一条数据
判断待迁移列表是否为空
12、对比源和目标集群是否是一对主从集群
启动yarn集群
3、获取源、目标集群active nn，及hdfs位置，hmasterip
8、判断每个表每个列簇是否已开启REPLICATION_SCOPE=> '1'
0 条评论
回复 删除
下一页
