大数据平台系统架构图
2022-06-16 14:47:05 1 举报
大数据平台系统架构图
作者其他创作
大纲/内容
Flume日志收集
api数据订阅/推送
应用/安全控制监控/限权
数据输出审计（敏感/合规/安全）
PG数据仓库集群
MapReduce离线计算
Spark streaming实时计算机
MINIO 对象存储
前置应用入口
数据分析
Zookeeper配置和调度YARM资源管理Monitor任务调度状态监控
OCR 图像识别
AI 人工智能
HDFS 文件存储
Hbase 非关系型数据库
Spark Core内存计算
Spark Sql数据查询
Hive数据查询
数据存储
结构化数据（数据库）半结构化数据（文件日志等）非结构化数据（视频图片等）
数据处理
……
终端应用
爬虫抓取
Sqoop数据传递
数据获取审计（敏感/合规/安全）
APP
Web
数据同步（PDI/Loader）
数据计算
Spark Mlib数据挖掘
程序服务
Kafka消息队列
API
数据来源
JAVA/Python 核心应用开发
0 条评论
回复 删除
下一页
