Spark架构图
2017-02-10 09:29:06 0 举报
登录查看完整内容
Spark架构图主要包括以下几个部分:驱动程序、集群管理器和工作节点。驱动程序是用户编写的Spark应用程序,它负责与集群管理器通信并控制整个应用程序的执行。集群管理器(例如Standalone、YARN或Mesos)负责将应用程序分配给工作节点,并监控其执行状态。工作节点是实际执行计算任务的服务器,它们通过运行Worker进程来执行任务。在Spark中,数据被存储在分布式文件系统(如HDFS或Cassandra)中,每个分区都被复制到多个工作节点上以实现容错。当驱动程序提交一个任务时,集群管理器将其分发到可用的工作节点上,Worker进程则负责执行任务并将结果返回给驱动程序。