作业提交及初始化
2015-10-31 18:59:43 0 举报
作业提交及初始化是学生完成学习任务后,将所完成的作业通过特定方式提交给教师或系统的过程。在这个过程中,学生需要按照要求整理、打包自己的作业文件,并填写相关信息,如姓名、学号、作业名称等。同时,教师或系统会对提交的作业进行初始化处理,包括检查文件完整性、格式正确性等,以确保作业能够正常进行评分和反馈。作业提交及初始化是学生与教师之间沟通的重要环节,也是保证教学质量和学生学习效果的基础。
作者其他创作
大纲/内容
invoke
1
真正提交作业到集群
提交作业
启动DistributedCache
jobClient.monitorAndPrintJob()
RunJar将WordCount.jar解压,将命令行中的输入输出路径参数传递给MR程序的main(),并运行之
MapReduce application
计算作业的所有InputSplit
2
jobSubmitClient.getNewJobId();
执行到job.waitForCompletion(true)
向JobTracker申请一个JobID
jobClient.submitJobInternal()
new JobClient(conf)
核心语句
4
invoke(调用)
hadoop脚本根据jar命令将作业交给RunJar类处理
检查Job的输入输出
创建JobClient到JobTracker的RPC,也就是他们之间的通信桥梁(jobSubmitClient)
创建JobClient对象
6
3
jobSubmitClient.submitJob()
invoke2
hadoop jar WordCount.jar WordCount /input /output
不允许作业的输入为空,输出已存在
JobTracker所在文件系统指定目录
输入指令运行作业
5
复制作业运行所需要的各种文件到
打印作业执行过程中的信息
submit()
init(conf)
connect()
0 条评论
下一页