大数据平台数据流向图
2024-09-06 13:18:43 4 举报大数据平台数据流向图
作者其他创作
大纲/内容
数据采集FlumeSqoopPentahoNutch
分布式内存数据库Memcached + HBase + BlockCache
分布式消息队列KafKa
数据库数据
分布式文件存储系统HDFS
平台资源管理&任务调度&监控
可视化数据分析挖掘工具
实时数据流
协调&工作流Zookeeper、Oozie
大数据平台数据流向图
WEB网页
分布式计算引擎Spark MapReduce
实时交互集团数据
部署于虚拟化服务器资源池
分 布 式 计 算 & 存 储 服 务 器 集 群（X86/Power 服务器集群）
流处理引擎SparkStaream
分布式列式存储数据库HBase(支持全文索引、任意索引)
日志数据
全文索引Elastic-Search
OFFICE文件等
机器学习MahoutSpark MLlib
调度和管控应用服务系统
SQL引擎Hive SQLSpark SQL
统一安全认证&访问控制机制
主营业务五大生态系统
IaaS云资源管理平台
0 条评论
下一页
