Hadoop的核心组件架构

各组件:HDFS文件系统：存储基础，负责对大数据文件和存储集群进行管理。Yarn：对集群中的内存、CPU等资源进行管理，对分布式任务进行分配和管理。Tez、Spark：MapReduce的升级和替代产品。Hive：实视对分布式处理某构的简代应用。Sqoop、Flume：数据交互工作。Oozie、hue：实现数据处理过程的工作流构建和可视化操作。Zookeeper：实现节点监控、高可用性管理、配置同步等功能。Ambari、Cloudera Manage、Fusionlnsight：实现快速部署，简化运维Hadoop集群。

Zookeeper

Tez（DAG引擎）

Hadoop 核心组件及重要扩展项目

Ambari/Cloudera manager/Fusionlnsight（集成部署和管理工具）

Sqoop（数据导入导出）

HDFS（分布式存储系统）

HBase

Oozie/hue（工作流/可视化工具）

Spark（分布式计算框架）

MapReduce（分布式计算框架）

分布式协调服务

YARN（分布式资源调度框架）

分布式数据库

Hive（数据仓库）

Flume（数据采集）