系统大数据架构
2017-01-18 14:47:46 0 举报
登录查看完整内容
系统大数据架构是一种用于处理和分析大规模数据集的技术和工具的组合。它包括了数据的采集、存储、处理和可视化等多个环节，旨在帮助企业和组织从海量数据中挖掘有价值的信息和洞察。在系统大数据架构中，常用的技术包括分布式计算框架（如Hadoop和Spark）、NoSQL数据库（如MongoDB和Cassandra）、实时流处理平台（如Kafka和Flink）以及数据可视化工具（如Tableau和Power BI）。通过合理地设计和部署这些技术，企业可以实现对数据的快速处理、高效存储和智能分析，从而为业务决策提供有力支持。
作者其他创作
大纲/内容
分布式数据库服务器(Master)
负载均衡调度服务器1
A应用服务器1
分布式数据库服务器n
分布式数据库服务器1
预知性维护板块
可视化分析UI系统
远程分布式缓存
展示及分析层
采购管理服务
Redis
分布式文件服务器2
业务服务接口
常见故障库
分布式服务i服务器2
Spark Streaming
(Write)
运维监控服务
字典管理
日志分析
实时计算平台
公共组件
外围平台
分布式服务i服务器1
统一运维管理
feature02
Develop
数据库服务
统一资源管理框架YARN
其他业务数据
资产管理板块
工单
平台管理
A应用服务器n
点检
流式消息
本地缓存
数据分析与挖掘
kafka
n应用服务器n
计算层
数据管理
反向代理服务器1
B应用服务器1
分布式文件系统HDFS
加密解密
BI系统
Storm
分布式数据库服务器2
服务注册和发现
分布式缓存服务器2
离线计算平台
Hive
主数据管理
机构管理
电机轴系
应用程序
安全组件
存储层
统一数据访问模块
服务治理
销售管理板块
检修服务
分布式服务i服务器n
实时流
Mahout
ZooKeeper
静态资源
Hbase
半/非结构化数据管理
消息队列服务
数据ETL
设置转速
资料库板块
在线板块
代码生成器
A应用服务器2
润滑服务
结构化数据管理
Mllib
作业票
采购管理板块
公共服务
数据导入导出工具Sqoop/DataX
采集、接入层
配置服务
点击确定后重写测点结构模型里的RPM和ShaftName
取消
安全管理
nosql
分布式缓存服务器1
业务展现层
登录板块
分布式文件服务器1
默认显示T_Item_R里RPM字段数值。允许用户编辑。
结构化数据半结构化数据非结构化数据
HUE
es
Sqoop/DataX
离线流
日志采集系统Flume
数据库
权限管理
CDN服务器1
确定
资产管理服务
基础设施
Zeppelin
调度
服务
DB
故障诊断板块
接口文档
登录服务
Echarts
泵体轴系
n应用服务器1
Flume日志合并预处理
单点登录
缺陷
计量表计
作业调度管理
分布式缓存服务器n
工单服务
数据源
通用信息管理板块
基础服务
设备管理
MySQL
文件
集成平台
点检服务
n应用服务器2
通用信息服务
Feature
MapReduce
(Read)
Release
数据管控
Spark SQL
数据质量管理
缺陷服务
调度服务
日志组件
对外服务存储数据
脚本引擎
mongodb
Hotfix
统计分析场景
外部平台适配接口
将转速和指定的轴关联起来。只允许指定一个轴。
数据计算
新增一个“设置转速”按键
缓存服务
物料管理服务
数据交换
业务逻辑层
分布式数据库服务器1(Slave)
故障诊断服务
时间轴
资料库服务
转速：
Hue可视化分析
数据展现
元数据管理
数据加工清洗
监控和授权
物料管理板块
在线
feature01
业务管理
点检板块
菜单管理
数据采集
接口服务
检修
轴名称
分布式文件服务器n
推送服务
销售管理服务
设备台账服务
日志文件
安全控制
mysql
多应用管理
工作票服务
主从同步
多租户管理
租户服务
在线服务
异常组件
Kafka集群
用户管理
Flume分布式日志收集
租户板块
权限服务
预处理
D3.js
超链接、消息队列中间件
计量表计服务
接口系统
深度分析场景
数据查询
Bug
数据队列集群Kafka
润滑
服务交互
分布式数据库中间件
点击按键后，弹出设置转速并将转速和轴进行绑定的界面
工作流引擎
Master
数据存储管理
0 条评论
回复 删除
下一页
