大数据平台-整体架构
2024-03-18 23:13:18 29 举报大数据整体架构剖析图，包含数据采集、分析、展示
作者其他创作
大纲/内容
省级
市级
解析
大数据统计&数据挖掘&行业报告&信用体系
筛选
API
Dataworks
计算层
Sklearn
Tensorflow
去重
加工
Map/Reduce
实时计算
县级
模型训练
FlinkSql/Streaming
运维保障
自定义推送数据
Sqoop
Django
DataX
离线计算
SparkSql/RM
清洗
RDBMS
Flume
增加
统计服务
前端数据采集站点
开发IDE
xxx
数据质量
业务平台服务
大数据平台整体架构
kafka
中间层
.
AI
LogStash
存储层
日志
Mongo集群
智能数据平台
智能调度
光纤/VPN/公网
元数据管理
离线数据
Hbase
机器学习
实时数据
Caffe
业务平台三
数据服务层
报告服务
...
日志文件
数据应用层
Redis
业务平台二
RDS
DataHub
警告监控
结构化数据
开发平台
业务平台一
PostgreSql
Mahout
统计分析库
HDFS
分类
非结构化数据
调度工具
MySql集群
数据源
转换
业务库
SpringCloud
运维自动化
智能推荐
0 条评论
下一页
