Spark Executor
2016-06-11 20:21:09 0 举报
Spark Executor是Apache Spark中的一个关键组件,它是在工作节点上运行任务的进程。每个应用程序都有自己的一组执行器,这些执行器并行运行任务以实现分布式计算。执行器负责接收并处理从驱动程序发送到集群的任务,并将结果返回给驱动程序。执行器还负责与存储系统和其他资源管理器进行通信,以确保任务的顺利执行。执行器的内存管理和CPU调度对于优化Spark应用程序的性能至关重要。总之,Spark Executor是Spark框架中实现分布式计算的关键组件,它通过在工作节点上运行任务来提高数据处理速度和效率。
作者其他创作
大纲/内容
员工
职员管理页面
管理员
7:产生员工编号
Master
ExecutorStateChanged
Worker
添加成功页面
DAGScheduler
9:返回
Executor Added
RegisteredApplication
16:返回错误信息
3:输入员工信息
10:调用
ExecutorRuner
员工管理
CoarseGrainedExecutorBackend
ScheduleLauchExecutor
1:调用
SchedulerBackend
8:新增
13:添加员工
2:调用
6:验证
添加新员工页面
TaskScheduler
11:调用
Registered Excutor
fetchAndRunExecutor
4:添加员工
14:返回
12:输入员工信息
Register Executor
生成员工编号
AppClient
5:返回
15:验证
Excutor
0 条评论
下一页