HBASE查询数据同步+写入Mysql流程图
2018-12-11 11:20:29 0 举报
hbase数据同步流程
作者其他创作
大纲/内容
不执行同步
否
spark查询数据存放目录
压缩plan_group-master.tar.gz并同步
status=3
判断mysql planid的文件状态
以master机器为例说明
判断该目录是否有plan目录
执行同步
同步mysql 临时表标识master文件同步成功
数据同步：shell数据写入：python
是
同步mysql 临时表标识master文件同步失败
status !=3
调度计划生成数据存储到master机器上
判断同步成功
获取该目录下每个plan目录的planid
等待下次轮询存放目录
递归每个plan目录下的group目录寻找符合条件的part文件
收藏
0 条评论
回复 删除
下一页
