spark任务流程图
2021-11-09 10:47:29 2 举报spark任务流程图
作者其他创作
大纲/内容
提数需求是否存在
Executor线程
zookeeper
Worker:从节点上资源和任务的管理者
提数需求完成
启动方式：1、spark-submit2、spark-shell3、程序
防止单节点故障
职责：相当于ResourceManger1、管理调度集群资源任务和任务2、接收客户端的任务请求3、部署方式：standalone（master），yarn，local，mesos
根据数据类型指派同学接受并分配编号
是
按照流程完成开发并邮件回复
将对象提交给集群
产品提数需求记录文档排查
Driver Program核心：创建一个sc对象（sparkContext）
数据需求编号并文档记录
服务器端
运营发起提数需求
否
主节点cluster manager
产品提数需求接收
Worker 默认行为是占用该建该节点上的所有资源
提数sql规范归档
客户端
spark没对内存进行管理，内存的管理都交给了应用程序，代码写时要考虑性能，否则容易出现OOM，就是内存溢出
收藏
收藏
0 条评论
下一页
