SparkCore
2017-04-07 09:56:35 0 举报
SparkCore是Apache Spark的核心组件,它提供了Spark的基础架构和基本功能。SparkCore主要负责任务调度、内存管理、错误恢复等核心功能,为上层的Spark SQL、Spark Streaming、MLlib等模块提供支持。SparkCore采用了基于内存的分布式计算模型,可以高效地处理大规模数据集。同时,SparkCore还支持多种数据源,如HDFS、Cassandra、HBase等,以及多种计算模型,如批处理、流处理、机器学习等。总之,SparkCore是Apache Spark的基础,为其他模块提供了稳定可靠的底层支持。
作者其他创作
大纲/内容
ShuffleMapTask
LocalSchedulerBackend
StandaloneSchedulerBackend
SparkContext
BlockManagerMaster
Task
ResultStage
DagScheduler
RDD.action()
handleJobSubmitted
BlockFetchingListener
RpcEnv
reviveOffers
BlockManager
MesosFineGrainedSchedulerBackend
Stage
StandaloneAppClient
1.newResultStage2.new ActiveJob3.submitStage4.submitMissingTasks
NettyRpcEnv
LauncherBackend
ShuffleDependency
ExecutorBackend
ResultTask
makeOffers
lanuchTasks
NarrowDependency
submitJob
NettyBlockTransferService
BlockTransferService
OneToOneDependency
CoarseGrainedExecutorBackend
ShuffleMapStage
RangeDependency
Executor
MesosCoarseGrainedSchedulerBackend
ShuffleClient
Dependency
resourceOffers
MesosExecutorBackend
TaskScheduler
LauncherServer
NioBlockTransferService
LaunchTask
SchedulerBackend
CoarseGrainedSchedulerBackend
submitTasks
launchTask
0 条评论
回复 删除
下一页