数据平台技术架构图
2020-02-21 10:06:03 16 举报
数据平台技术架构图是一种用于描述数据平台的技术架构的图表。它通常包括多个层次,如数据采集层、数据处理层、数据存储层和数据分析层。数据采集层负责从各种来源收集数据,如数据库、文件系统和网络爬虫。数据处理层负责对收集到的数据进行清洗、转换和整合,以便后续分析。数据存储层负责将处理后的数据存储在适当的位置,如关系型数据库、非关系型数据库或分布式文件系统。最后,数据分析层负责对存储在数据仓库中的数据进行分析,以支持业务决策。总之,数据平台技术架构图是一种有效的工具,可以帮助我们更好地理解和设计数据平台。
作者其他创作
大纲/内容
视频文件Video
数据管理驾驶舱
ODS
周期调度
STAGE
使用统计
历史商品数据
实时数据流
统一管理
Redis
项目分类
Ares数据资产管理平台
收入分析数据
EDS
操作审计
插件扩展
业务数据库
数据分类
数据多维分析
集中管理
安全标注
自动部署
存储计算
Hive / Spark SQL / Presto / Tensorflow
DM
Azkaban分布式作业调度
数据血缘
Streamsets
全量采集
............
数据授权
数据文件Data File
数据集成
数据服务
订单明细表
日志明细表
系统日志SysLog
Sqoop
流量分析数据
HDFS分布式文件系统
关联依赖
Ranger数据安全授权审计
数据分析
SparkStreaming
Canal
离线数据流
Flink
全量拉取
Ambari基础设施管理监控
音频文件Music
性能分析
用户画像数据
HBase
运维监控
访客分析数据
KafKa消息服务总线
数据即时查询
历史订单数据
数据分析看板
Flume
数据开放接口
Mysql
Flume / FTP
增量采集
自定义数据报表
ElasticSearch
0 条评论
下一页