首页  流程图  详情

Spark源码分析

2024-12-04 10:48:47   0  举报





Spark框架原理

spark

架构

原理

流程

笔记

作者其他创作

大纲/内容

shuffle-reader

clientjvm

CoarseGrainedSchedulerBackend

numUsable： 3

窄依赖

getMissingParentStages

ask:RequestSubmitDriver(driverDescription)

threadPool

DAGScheduler

onStart()

flatMap

task线程

StandaloneAppClient

launchTask()task.run

filter

sparksubmitdriver

submitJob

spark-submit

receivereceiveAnadReply

如果你是一个coder有一批数据需要处理遍历递归javacoder递归的成本和遍历的成本【递归容易栈溢出】一个程序猿的级别：初级程序猿中级高级

task.run

RDD

CoarseGrainedExecutorBackend

onStart

没给出

masterjvm

实例/实体

worker

太吊了：spark的编程代码是类似于本机的线性代码其实在代码逻辑里，只是发生了newRDD的过程并没有发生计算且RDD之间有依赖关系，组建了一个树，单线链表最终，最后一个RDD的action算子，触发DAG去按着stage递归，通过栈结构遍历RDD寻找shuffle关系切割stage最终划分了正确的stage出来，且递归后的回归过程，就是由前至后的stage提交的过程

inbox

eventThreadrun

sparkEnv

groupByKey

foreach

资源划分优先水平分配Executor

textFile()

postMessage

spark 计算层角色：clinet-->driver-->executor

spreadOutApps : true

memoryPerExecutor 4G

队列

partitionsToCompute

rpcEnv: 基础设施

连接池，线程池，连接数，线程数

spark rdd 不用了ibm datastage db2etl

io socket10000000个

sbin/start-all.sh

sparksubmit

女

registerRpcEndpoint

WorkeronStart()

exec \"${SPARK_HOME}\"/bin/spark-class org.apache.spark.deploy.SparkSubmit \"$@\"

rootPool

master

executors

shuffleMapStage

5C7G

startServer

oneExecutorPerWorker

resourceOffers

hadoopRDDrecordreader

spark executor 资源申请，默认水平申请

reduceByKey

reviveOffers

message类型不一样

missingHashSet

usableWorkers

Executor

DAGSchedulerEventProcessLoop

threadpool

2，luanchDriver

def visit

app.desc.coresPerExecutor

sendask

org.apache.spark.executor.CoarseGrainedExecutorBackend

coresPerExecutor : 3

submitMissingTasks

getupdatadeletepostput

d:RDD1:p

runTask

workerjvm

union

男

MessageLoop

7，RegisteredExecutor

submitTasks

LaunchExecutor

driverEndpoint

doOnReceive

费曼学习法

e:RDD1:p

RegisterApplication

org.apache.spark.deploy.worker.DriverWrapper

recivereciveAndReply

jion

Master

DriverEndpoint

8，new

map

LaunchDriver

start

5，LuanchExecutor

RegisteredExecutor

cluster

post

HadoopRDD

jvm

minCoresPerExecutor 3C

mapreduce里是通过反射！spark：反序列化！

thread容器是线程，没有业务逻辑最终是把某一个对象的run方法压栈，压的方法帧针对这个run方法是不是死循环！！！

$@:spark-sumit --master spark://sdfsdf:7077--deploy-mode client/cluster--class ooxx.classxxoo.jar--executr-cores/memory

方法帧

StandaloneSchedulerBackend

Rest风格

ClientApp

ExecutorLaunch(appMaster)

TaskSchedulerImpl

ShuffleMapTask

术语：核心：数据期望分布式计算！相干计算：需要shuffle不相干计算：组成了stage在一台可以完成pipeline：迭代器嵌套模式窄依赖stage与stage之间是需要shuffle的task任务一个stage的任务task的数量是多少是由stage里最后一个rdd的分区的数量决定的ResultStage : 一个job可以有N个stage一个job里最优的哪一个stagestage很简单，值包含一个RDDShuffleMapStage ：一个job可以有多个stage出了最后一个stage，其他的都是shufflemapstagetask：ShuffleMapTaskResultTask

RPC

a:RDD3:p

3，RegisterApplication

Dispatcher

计算层：cluster模式

sparkContext

client jvm

shufflemaptaskresulttask

sparkShell

1，ask:RequestSubmitDriver(driverDescription)

runJob

SparkEnv