HashData与大数据体系融合

用户使用HashData进行DDL操作流程

是否drop操作？

租户内部一次性割接流程HashData FDB同步HMS对应Catalog下的所有元数据HiveConnector:syncHMS(catalogName)

被申请租户是否有HashData实例且目标实例类型不是HashData？

租户首次申请Hive/Spark/Flink实例流程

N

资源归属租户管理员审批通过

按照权限点调用统一权限服务接口完成对Hive表的赋权执行HMS跨Catalog赋权流程

HashData操作

当前是否有Hive实例？

FDB元数据变更成功？

用户使用Hive/Flink/Spark进行DDL操作流程

权限归属为HashData？

租户内所有存量Hive库表的权限点梳理完成，调用HashData赋权接口

HashData外表分区赋权逻辑：1. HashData基于表完成对分区的视图建立，视图名称按源表名命名2. 按权限点完成视图的授权

管理员审批通过

Y

更新元数据

Kafkatenant1_hms_topictenant1_fdb_topic...

HashData客户端发起元数据变更相关操作createDB;createSchema;createTable;dropDB;dropSchema;dropTable;alertSchema;alertTable

租户内部一次性割接流程方式1：hoodie格式同步至HMS方式2：开发connector实现FDB与HMS同步

实例开通成功按照租户名称创建Topic

HashData DB 映射 HMS CatalogFDBEventListener {  void onCreatTable(event);  ...}

Hive/Spark/Flink表use catalog;select * from db.table ....

Hive客户端发起元数据变更相关操作createCatalog;createDB;createTable;dropCatalog;dropDB;dropTable;alertDB;alertTable

目标实例类型为HashData？

HashData表use db;select * from schema.table ....Hive/Spark/Flink表use catalog;select * from db.table ....

平台内部操作

租户内所有存量HashData Schema和表的权限点梳理完成，调用统一权限服务赋权接口

HashData校验对应视图是否还有权限点

HashData表use db;select * from schema.table ....

是否分区权限？

联通云走资源申请流程

按权限点完成对外表赋权

租户操作

是否外表？

否

发起跨租户的权限申请流程

HMS Catalog映射HashData DBMetaStoreEventListener {  void onCreateTable(event) {    send to kafka or request HashData  };  void onAlertTable(event){...};  void onDropTable(event){...};  //DB操作  .......}

当前是否有HashData实例？

按照监听器监听结果将元数据变更信息写入Kafka

租户回收权限

按照权限点调用统一权限服务接口完成对Hive表的权限回收

被申请租户是否有HashData实例？

HashData超管用户删除视图

是

HashData按表查询所有视图，并对表和视图删除对应权限点

权限回收流程

FDB元数据监听器（监听元数据变化）

结束

跨租户对表或分区授权流程权限变更流程

正常开通流程

删除所有视图和外表

报错结束

HMS元数据监听器（监听元数据变化）

按照租户对应的Topic消费KafkaHashData主动调用元数据同步方法

HMS元数据变更成功？

统一权限服务按照所有权限点完成赋权

被申请租户是否有Hive实例？

租户首次申请HashData实例流程

topic存在？

HashData按照所有权限点完成Grant操作