首页  流程图  详情

大数据平台核心架构图_大数据功能架构图_大数据系统架构图

2022-11-18 09:44:56   8  举报





大数据平台图主要分为大数据平台核心架构图、大数据功能架构图、大数据系统架构图、大数据架构图、大数据核心架构等，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。

大数据平台核心架构图

大数据功能架构图

大数据系统架构图

大数据架构图

大数据架构设计

作者其他创作

大纲/内容

数据交换

气象数据

门址数据

JVM

一网通办

视频布控

故障预案

权限管理

加密管理

基础库

画像分析

城市规划算法

楼宇组合

公共视频数据域

并行分布式关系数据库（Mpp DB）

数据接入

资源使用

数据脱敏

视频搜索

专业图层

交换级联

资源申请

统一运维平台

基础图层

数据治理

公共数据开放门户

视频计算

设备管理

图片、文件存储

互动交流

数据探索

检测资源

事件配置

数据开发

安全审计

法人组织

地理信息服务平台

数据层

标准规范体系

数据开放清单

.......

数据分级

地图管理

业务服务

城市规划

数据管理

一网统管算法

数据资产

数据库一主两从

数据结构分析平台

大数据基础支撑平台

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。数据源的种类比较多：网站日志：作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；业务数据库：业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案，有资源的话，可以基于DataX之上做二次开发，就能非常好的解决。当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。来自于Ftp/Http的数据源：有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；其他数据源：比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；二、数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。离线数据分析与计算，也就是对实时性要求不高的部分，在笔者看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；另外，MySQL 系列面试题和答案全部整理好了，微信搜索Java技术栈，在后台发送：面试，可以在线阅读。

视频数据

安全保障体系

元数据

公共人工智能子平台

公共场所

数据智能

数据服务

统一数据管理门户

经济发展算法

敏感数据

自然人

数据共享交换平台