大数据架构图
2023-12-15 15:02:20 1 举报大数据架构图
作者其他创作
大纲/内容
TensorFlow
远程脚本
Django
内网环境
生产数据
总体大数据架构体系
业务服务
势态感知SAS
Spark SQL
Prometheus
DNS解析
大数据平台
jenkins
LogStash
TCP/UDP
数据同步
筛选
通讯层
数据质量
开发IDE
算法引擎
分析
增加
实时计算
Map/Reduce
个性化推荐
关系型数据
kettle
转换
设备诊断
告警
Redis集群
计算层
最优化
+
经验知识
Sentinel限流、熔断、降级
AI
用户服务
注册
数据质量平台
HBase
OpenCV
加工
模型训练
科研统计服务
Redis
RDBMS
MQ
报告服务
DDOS高防IP
负载均衡
智能设备
智能推荐引擎
管理服务
BI报表
多端访问
日志数据
KPI分析
财务统计服务
网关服务集群 （商家端网关&开放平台网关）Spring Cloud Gateway
模型库
WebSocket
计算引擎
FlinkSql/Streaming
业务数据
Mahout
Hbase
元数据管理
数仓
Mahout
Sqoop
缓存
离线计算
.
统计分析库
运行支撑
...
Tensorflow
Service sms
Storm
文件
Java Agent
Load
....
PyTorch
机器学习
新能源监控
MySql集群
binlog日志
Grafana
去重
服务配置
HUE
OSS
Spring Boot Actuator
HDFS
doris
AI智能
数据读写
XXL-JOB
服务治理
运维自动化
用户数据
Caffe
API网关
运维人员
MySQL
文件数据
数据源
数据计算层
流程数据
RDS
Eurkea
源数据
清洗
数据大屏
数据展示层
定时任务
Spring Boot Admin
服务注册服务发现
科学计算
Nginx集群
数据存储层
开发平台
证书
Sklearn
Ribbon
上传服务
设备数据
GPE 监控告警
时序数据
数据应用层
MySql
智能驾驶
模型创建
服务API
开放API
k8s
非结构数据
Hive
消息队列
认证
FTP
大数据
算法训练
模型实例
Service erlang(大数据接口平台)
业务库
Service ai
运维保障
ES
智能调度引擎
网络层
PostgreSql
MR
埋点日志
消息总栈
业务日志
图书资源
算法输出
Service data
Flume
配置中心
物料数据
动态路由Sentinel配置限流配置服务配置
数据层
分类
数据持久化
公网环境
API
统计服务
开发工具
警告监控
Exporter
图像数据
Kubernetes
Sgoop
解析
数据存储
Dataworks
CDN
工艺数据
业务平台架构体系
数据安全
大数据统计&数据挖掘&行业报告&信用体系
数据接入层
高可用注册&配置中心集群Nacos
HTTP/HTTPS
DataHub
通信服务
开放平台
数据运算平台
智能数据中台
元数据管理平台
存储层
NoSQL
财务数据
可视化平台
日志服务
Docker
GitLab
APM 系统
中间层
数据抽取
算法API
算法管理
Job注册
dw
Grafna
模板引擎
MangoDB
运维管理
智能数据平台
flink
基础云
Feign
SentinelDashboard
impala
数据管理库
结构化数据
智能调度
行业数据
Webhooks
实时数据
训练模型
调度工具
运营优化
精准推荐
Kettle
查询
ElasticSearch
dm
Redis 集群
数据采集平台
通过JWT进行认证&鉴权
分析微服务
Kettle
Zuul
E-mail
AI平台
业务数据，流水数据，日志数据
kafka
Hystrix
FineReport
Service manage
数据爬虫
YARN
其他应用
开发人员
商品服务
预测性维护
单据数据
MongoDB
模型管理
Logstash
同步服务
ZABBIX
用户画像
ods
数据共享API
外部应用
智能服务
数据可视化
集群监控
Service aggreg（BFF 模式聚合）
Service uim
Swagger聚合
运维管理平台
数据服务层
REST
大数据统计&数据挖掘&行业报告&馆情监控
SpringCloud
kylin
SparkSql/RM
Kafka
告警监控平台
Actuator
数据存储平台
数据管理
大数据中心
Mongo集群
OSS对象存储
Hive/Pig
任务调度平台
模型分类
大屏可视化面板
数据建模
服务监控
智能推荐
权限管理
JSON Web Token
运维&资源管理
DolphinScheduler
注册中心
标线说明
docker
MOLAP
公共服务
Service marking
数据缓存
其他数据源
服务中台Feign和Ribbon
数据服务平台
TSP
WAF防火墙
Spark Streaming
决策树、随机森林、xGBoost、lightGBM、RandomWalk、DeepFM
RPC
非结构化数据
Agent
即席查询
ElasticSearch集群
消息队列
算法封装
机器学习框架&深度学习框架
CI
任务调度
UBl打分
开放SDK
抽取
多媒体转码
Sky Walking
产品
应用平台
订单服务
文本
大数据开发平台架构图
BOSS
elasticsearch
接入服务
政企数据
预测
ELK 日志分析
Service bi
Kibana
数据字典
DataX
yapi
模式识别
机器数据
ROLAP
用户统计服务
运维平台
云基础
调度
运营人员
埋点
0 条评论
下一页
