Spark On Yarn内部原理图

Spark On Yarn是一种将Apache Spark运行在Hadoop YARN集群上的模式。在这个模式下，Spark应用程序被打包成jar文件，然后提交到YARN集群上运行。Spark On Yarn的工作原理是，首先通过YARN的资源管理器（ResourceManager）获取资源，然后在分配的资源上启动Spark执行器（Executor），执行器负责执行Spark任务并返回结果。 在Spark On Yarn中，有两种调度模式：粗粒度调度和细粒度调度。粗粒度调度是指整个应用程序作为一个任务提交给YARN，而细粒度调度是指应用程序中的每个分区作为一个任务提交给YARN。