大数据平台技术架构
2020-03-30 16:55:01 14 举报
大数据平台技术架构
作者其他创作
大纲/内容
SparkStreaming
搜索检索系统
DK.HADOOP
DK.Kafka
DK.HBASE
graphk
Spark
排序管理系统
实时流数据
DK.Crawler
Storm
大数据平台技术架构
检索层
DK.一体化计算框架
算法/工具 类库
MapReduce
DK.E.S
DK.Hive
ODBC引擎
分布式 MYSQL
结构(SQL)数据
NLP/AI 系统
ElasticSQL
JDBC引擎
MYSQL内核
分布式管理系统
文件、日志数据
数据源
Flume
互联网数据
计算层
DK.数据中间件
Mahout
全文检索和索引数据中间件
DK.经典SQL引擎
DK.压缩算法
Sqoop
爬虫任务分配系统
数据交换层
HDFS
索引系统
Pig
WEB界面/API接口/应用程序界面系统
DK.计算中间件
0 条评论
下一页