数据产品整体架构图

管理台

接口管理

1:管理台基础依赖与nacos、k8s、redis、mysql2:数据开发中离线开发依赖于dolphinscheduler；实时开发依赖于streampark，streampark依赖于Flink，Flink使用yarn作为资源管理器，yarn集群使用Ambari进行搭建3:数据治理中元数据管理，数仓建模，数据指标中汇总逻辑表都是基于Doris开发；元数据管理中数据血缘依赖于dolphinscheduler及约定的任务命名规则；数据质量依赖于dolphinscheduler中数据质量4:埋点采集服务依赖于kafka、Flink、Flink使用yarn做资源管理、yarn集群使用Ambari进行搭建、管理和维护

实时开发

项目管理

数据接入

数仓建模

自助取数

数据集成

Flink

数据地图

租户管理

运维监控

前端

Kafka监控

元数据管理

Kafka

菜单管理

应用管理

Datax

指标数据查询

埋点分析

K8s集群服务(可选)

yarn

dataease

数仓监控

Ambari

数据质量

超级管理员

Doris监控

Doris

DolphinScheduler

系统配置

数据指标

数据安全

指标服务

埋点采集服务

ECS服务器

租户下管理台功能模块全集

数据服务

权益定价

指标纬度枚举查询

nacos配置中心服务

数据标准

离线开发

指标列表查询

数据治理

指标纬度查询

StreamPark

MySql

数据应用

用户管理

数据开发

Redis

虚拟机

BI分析

物理服务器