spark任务提交
2017-02-20 11:13:01 0 举报
为你推荐
查看更多
Spark任务提交是将编写好的Spark应用程序通过命令行或者集成开发环境(IDE)提交到Spark集群中,以便在集群上执行。提交过程中需要指定一些参数,如应用程序的主类名、应用名称、jar包路径、运行模式(本地模式或集群模式)、Master节点URL等。提交成功后,Spark集群会分配资源并启动应用程序的Executor进程,执行任务并返回结果。Spark任务提交是使用Spark进行大数据处理的基本操作之一,掌握好任务提交的方法和技巧对于提高数据处理效率至关重要。
作者其他创作
大纲/内容
sparkClient
GetNew-ApplicationResponse
NM
分发启动applicaitonMaster
构建YarnClient参数从classpath中获取core-site.xm等
HDFS
RM
参数解析生成ClientArguments
人员
上传sparkJar|userJar|log4j.properties到/user/{user.name}/.sparkStaging目录下
createApplication
启动ApplicationMaster
将HADOOP_CONF_DIR和YARN_CONF_DIR下的文件和sparkConf放置在zip文件中
spark-submit提交任务模式为cluster
0 条评论
回复 删除
下一页