数据平台分层架构V1.0
2022-08-07 22:03:18 0 举报
数据平台分层架构V1.0，待升级
作者其他创作
大纲/内容
计算任务
模板格式定义
任务调度Azkaban
消息队列
质量监控配置
多模式告警
监控报告
实时清洗
SQL执行器
数据源配置管理
数据处理
质量数据采集
ES代理
数据质量配置
模板文件解析器
内置检查逻辑
元数据管理平台
任务调度工具
质量监控
数据分析
数据质量报告
任务调度平台
告警接口
聚合查询处理
数据API服务
元数据交换接口
数据建模
数据脱敏
计算逻辑装配
Azkaban接口代理
血缘关系管理
报表展示
中间件层
元数据集成接口
映射关系构建
算法库
变更日志
数据质量分析
微服务治理
聚合数据查询控制器
宽表连接
实时数据入库
任务调度配置
DataX配置
安全服务
数据计算任务构建工具
维度表建模
安全检查
Flink
任务配置管理
ClickHouseSDK
数据集成与交换
数据分析平台
建表脚本构建
加密设置
事实表建模
建模脚本构建
血缘关系记录
搜索服务
质量任务告警
权限控制器
QPS控制
慢查询记录
任务调度管理
数据同步自动构建工具
TensorFlow
数据治理平台
Hadoop
告警服务
搜索工具
调度告警
计算任务配置
应用层
脱敏设置
数据加密
质量监控引擎
PostgreSQL
权限过滤
搜索API
即席查询控制器
数据开发平台
报表配置
数据分析查询API
更新策略管理
Zookeeper
Azkaban数据格式解析
更新逻辑实现
DWD/DIM建模抽取工具
同步任务配置
抽取任务配置
日志审计
搜索引擎ES
图数据库
实时数据拉取
质量规则管理
数据开发
简单查询处理
数据基础服务
数据基础服务工具
服务层
元数据CRUD
聚合计算
数据集成平台
调度历史跟踪
实现逻辑层
质量监控服务
即席查询通用API
调度链管理
Spark
元数据分类信息
轻度聚合查询API
用户权限控制
离线数据抽取
批量清洗
抽取脚本构建
ClickHouse
批量存储
任务执行历史
质量监控工具
DataX二次开发
告警规则管理
数据资产地图
安全工具
0 条评论
回复 删除
下一页
