大数据架构

微信

Logstash

NoSql

HBase

HDFS

Drill

业务系统

Kylin

爬虫

数据消费

数据接入|采集

系统接口

离线数据

Sqoop

Spark Streaming

Spark MLlib

查询分析

SparkSQL

日志

Impala

Presto

Map/Reduce

备注：1） 分代：1. MR， 2. DAG框架， 3. Spark， 4. Flink2）省略 第二代计算引擎 DAG， 包括 Tez 和 Oozie3） 资源管理：YARN、Mesos4） Sql On Hadoop: Hive、Impala、Spark SQL、Druid、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。

实时计算

Druid

Flink

Elasticsearch

实时数据

数据存储

监控

Storm

Kafka 等

分布式治理Zookeeper

APP（android）

Hive

离线计算

DataX

数据输出

APP（IOS）

Flume

Spark

关系数据库

POS

数据源

Pig