Hbase迁移流程改进版
2019-08-27 20:23:39 10 举报
Hbase迁移流程改进版本
作者其他创作
大纲/内容
建表语句创建表create
待迁移目标集群预分区建表，并创建test_peer表
true
目标集群存在表，打印出存在的表信息并退出流程
false
9、分析表结构是否有coprocessor
true/or false
28、enable peer
删除snapshot
23、是否因积压过高，流量过大需要开启peer缓解压力终止任务
15、判断peer是否已经disabled
5、is_exist判断待迁移表目标集群是否存在
22、restore snapshot记录成功与失败表
目标集群创建coprocessor目录，从原集群拷贝包到目标集群
14、判断源和目标集群test_peer表 是否有两条数据
打印源和目标是一个集群，退出
alter表属性
18、获取snapshot列表
29、删除已经完成迁移的snapshot、
17、创建表snapshot
开始
is_exist表是否存在，返回true或false
检查未能同步的问题，退出
创建失败，退出
27、scan
25、move_rsgroup_tables到指定rsgroup
10、is_exists查看目标集群是否存在待迁移表及test_peer表，返回失败列表
disabletable
停止迁移进程，停止正在执行yarn application
11、查看源集群是否有snapshot，如有先删除snapshot
19、开始迁移snapshot
判断是否还有未迁移完成的表
1、分组调整
修改待迁移列表，删除已经成功restore的表
16、禁用peer
4、判断目标集群和源集群不是一个集群
完成
4、输入待迁移表，生成列表
重跑开关是否重跑
建立表级别源集群到目标集群peer，以及目标集群到原集群的peer
13、分别对源集群及目标集群test_peer表put一条数据
21、根据yarn成功列表查找目标集群snapshot，disable表，判断表是否disable
26、Hbase hbck
查看目标集群coprocessor包是否创建成功
6、调用源hbase集群hm获取表结构信息，返回预分区表结构，属性
12、对比源和目标集群是否是一对主从集群
20、获取yarn正在迁移的applicationid，写入成功文件，失败文件列表
24、enable并major_compact成功的表
启动yarn集群
3、获取源、目标集群active nn，及hdfs位置，hmasterip
2、查看yarn集群是否启动
8、判断每个表每个列簇是否已开启REPLICATION_SCOPE=> '1'
7、判断源集群是否有备集群
0 条评论
回复 删除
下一页
