work-log-20200511-大数据平台架构图-v2.0
2020-05-07 18:52:32 3 举报大数据平台架构图
作者其他创作
大纲/内容
时序存储OpenTSDB
工作流调度OozieAirflowAzkabanFalcon
关系存储Hive
其他
视频、图片、文档
数据报表SupersetsFineReportYonghongBICognos
列式存储HBaseKuduCassandra
运维管理平台
数据治理AtlasMetaModel
机器学习Spark MLlibFlink MLTensorflow
交互式分析KylinHueImpalaPrestoPhoenixDruidZeppelin
应用层
采集层
集群部署CDHCMHDPAmbariCDP
图计算HamaSpark GraphXFlink GellyGiraph
关系存储MySQLOraclePostgreSQLDB2SQL ServerClickHouse
运营管理平台
Log-日志采集FlumeLogstashScribe
数据接口JSONXMLCSVTXT
ETL-离线采集KettleSqoopStreamSetsDataXFlinkX
分布式协调ZookeeperBookkeeper
结构化数据
流计算StormSpark StreamingFlink DataStreamSamzaApexBeamEsperEagle
图存储Neo4jGiraph
搜索引擎ElasticSearchSolr
管理层
持续集成svngitgitlabmavennexusjenkinsansibleconfluencejira
数据分析SQLMATLABSASNumpyScipyPandasMatpalotlibSklearnKeras
半结构化数据
数据可视化TableauEchartsRedashDS3
非结构化数据
Web-网页采集WebCollectorNutchScrapyPySpider
运维监控ZabbixGangliaGrafanaPromethusKibana
大数据平台架构图
财务管理平台
文档存储MongoDBCouchDB
键值存储Redis
服务层
MQ-实时采集KafkaRabbitMQActiveMQRocketMQ
资源调度YARNMesos
批计算MapReduceSpark SQLFlink DataSetFlink Table
Hadoop HDFS
存储层
计算层
项目管理平台
数据安全SentryKerberosRangerKnox
0 条评论
下一页
