大数据平台系统架构图
2022-06-16 14:47:05 1 举报
大数据平台系统架构图
作者其他创作
大纲/内容
Flume日志收集
api数据订阅/推送
应用/安全控制监控/限权
数据输出审计(敏感/合规/安全)
PG数据仓库集群
MapReduce离线计算
Spark streaming实时计算机
MINIO 对象存储
前置应用入口
数据分析
Zookeeper配置和调度YARM资源管理Monitor任务调度状态监控
OCR 图像识别
AI 人工智能
HDFS 文件存储
Hbase 非关系型数据库
Spark Core内存计算
Spark Sql数据查询
Hive数据查询
数据存储
结构化数据(数据库)半结构化数据(文件日志等)非结构化数据(视频图片等)
数据处理
……
终端应用
爬虫抓取
Sqoop数据传递
数据获取审计(敏感/合规/安全)
APP
Web
数据同步(PDI/Loader)
数据计算
Spark Mlib数据挖掘
程序服务
Kafka消息队列
API
数据来源
JAVA/Python 核心应用开发
0 条评论
下一页