大数据平台整体架构
2023-02-09 10:53:45 20 举报
大数据平台整体架构通常包括数据采集、数据存储、数据处理和数据分析四个部分。其中，数据采集是指从不同来源收集数据；数据存储是指将采集到的数据存储到数据库或文件中；数据处理是指对存储的数据进行清洗、转换和整合；数据分析是指对处理后的数据进行分析和挖掘，以获得有价值的信息。此外，大数据平台还需要具备高可用性、可扩展性和安全性等特点，以保证数据的可靠性和安全性。
作者其他创作
大纲/内容
清洗
非结构化数据
存储层
.
报告服务
API
ES
...
数据服务层
空白证管理
文件管理
日志
RDS
数据库集群
名单管理
SpringCloud
机器学习
SparkSql/RM
离线计算
业务平台服务
数据应用层
数据源
智能推荐
运维保障
FlinkSql/Streaming
模型训练
智能数据平台
HDFS
去重
收费发证
国内
Sqoop
实时计算
领事保护
Redis
AI
筛选
统计分析库
大数据平台整体架构
调度工具
加工
数据统计&数据挖掘&业务报告&评价体系
Map/Reduce
Mahout
Caffe
离线数据
Django
Hbase
Tensorflow
警告监控
kafka
护照业务
RDBMS
结构化数据
Dataworks
计算层
认证业务
实时数据
统计服务
DataX
Sklearn
LogStash
光纤/专网/公网
部里
侨务工作
自定义推送数据
解析
智能调度
数据质量
前端数据采集站点
海外
配置管理
报表统计
婚姻登记
业务库
分类
Flume
监督管理
抽取
开发平台
DataHub
中间层
签证业务
公证业务
运维自动化
ELK
转换
数据管理
0 条评论
回复 删除
下一页
