大数据平台架构
2024-10-22 14:08:29 3 举报描述工业大数据平台的基本组件及业务流程
作者其他创作
大纲/内容
数据持久化服务
基本实现自主可控
监控管理平台(promethus+grafna)
指标库
Kafka
Redis
数据写入更新
Hbase/Hive/HDFS
数据共享平台
clickhouse
数据采集工具
数据服务
实时计算(FlinkSql)
SeaTunnel
数据集成/接入
数据存储
原始数据同步
经营销售系统
大数据基础平台架构
园区管理系统
离线定时计算任务(sql)
生产子系统
使用/升级完全依赖第三方
自定义实时处理服务(java)
数据建模管理工具
定义数据结构
运维管理平台(Ambari)
数据接入服务(公共API)
任务调度平台(DolphinScheduler)
数据加工计算
任务调度管理
mysql
PostgreSQL
schema管理服务
数据源
...
部分流程自主可控/使用频率较小
安全子系统
0 条评论
下一页
