大数据各平台间数据交互
2020-04-09 17:12:51 0 举报大数据平台建设框架
作者其他创作
大纲/内容
1.定时任务同步业务表结构
离线监控告警分析平台
1.用户表调度、查询、应用权限处理2.DDL操作处理3.udf操作处理
查询数据
查询调度平台
1.监控presto-sql运行情况2.超时presto-sql的kill、告警3.presto-sql运行分析
1.提供基础数据查询服务
presto
获取表的一行样本数据
1.监控hive-sql运行情况，2.超时hive-sql的kill、告警3.hive-sql运行分析
调度平台
hdfs
实时平台
机器学习平台
presto/kylin监控平台
1.实时推送tmp库以外的元数据变更信息
1.推送tmp库以外的hive表血缘信息2.夜间定时任务全量同步元数据信息
1.提供hive日志查询服务
1.统一用户信息2.统一数据权限（底层执行任务权限）3.统一操作权限（超级管理员、平台管理员、部门管理员、平台开发者、访客）4.统一菜单权限（超级管理员、平台管理员、部门管理员、平台开发者、访客）5.统一其他固化信息（集群信息、应用信息等）
1.新增元数据2.文件导入
详细介绍：1.血缘2.元数据同步3.底层权限
日志服务平台
元数据
查询平台
业务方入仓关系型表
1.任务告警规则配置、任务告警、告警处理、任务分析
机器学习监控
hive
数据质量平台
1.用户基本信息
1.数据质量任务
1.用户基本信息2.查询账号信息3.用户调度、查询、应用账号信息
使用hive的权限体系
1.用户基本信息2.查询账号信息3.查询集群信息
账号需要先用有hive表对应路径的hdfs权限
实时监控
元数据信息：1.入仓关系型表基本信息2.hive表基本信息3.表血缘信息（调度）4.指标维度信息5.报表关联信息6.业务域信息7.表DDL管理（2.0、查询）8.表权限管理（2.0、查询、部门隔离）9.业务系统名称信息（迁移到调度平台）
平台2.0
1.创建ods、dw层同步任务2.获取调度维护的入仓业务库数据源相关信息3.提供业务方系统信息
1.kafka相关监控告警2.spark任务相关监控告警
收藏
0 条评论
下一页
