大数据
2019-01-29 11:29:26 6 举报大数据所有基础框架结构图
作者其他创作
大纲/内容
ClientEndpoint
Hadoop组件图
Task
NodeManager
（2）、Spark运行时消息通信交互过程
5、发送任务到Executor进行任务
（1）、Spark启动消息通信交互过程
6、Messos细粒度运行模式
5、Messos粗粒度运行模式
MRAPPMaster
Mapreduce Program
ResourceManager
Topic1
HDFS
MRClient
CoarseMesos SchedulerBacked
CoarseGrainedExecutorBacked
Part3
6、反馈任务执行状态
TaskScheduleImpl
Part2
Part4
7、LaunchTask
Master
工作节点
DirverEndpoint
Spark运行架构
3、通知Worker启动Executor
WorkerEndpoint
Slave3
Zookeeperquorum
MasterEndpint
Mesos Slave
SparkDeploySchedulerBackend
Container
4、发送任务到Executor进行任务
1、启动应用程序、执行作业
WorkerEndpint
HadoopHA机制
主节点
3、
MasterEndpoint
YarnChild
4、ExecutorStateChanged
InputFormat
Broker3
Machine1
DAGScheduler
SparkContext
SparkDeploy SchedulerBacked
OutputFormat
Master（主节点）
Executor
2、
4、Yarn-Cluster运行模式
Worker（工作节点）
2、RegisteredApplication
客户端
1、
Slave0
map
SlaveN
运行节点
Part1
MesosSchedulerDriver
StandbyMaster
Worker
Spark消息通信框架
10、启动Maper Task或者ReduceTask任务
DriverEndpoint
5、反馈任务执行状态
2、独立（Standalone）运行模式
9、通过NodeManager上Container的MRAPPMaster程序启动YarnChlid进程开始执行任务
2、向Master注册应用程序
6、初始化、创建作业对象
6、应用程序运行完毕、回收资源
Machine2
Client
Mapper/Reduce类代码
Mesos Master
2、请求作业号
MesosMaster
1、本地（local）运行模式
MapTaskorReduce Task
7、Messos高可用运行架构图
task
3、HeartBeat
发送心跳报活
Master0
Client（客户端）
JobClient
3、LaunchExecutor
Hadoopexecutor
Yarn典型拓扑
8、以心跳包的方式申请Container的个数(按系统指定的reduce数)
7、应用程序运行完毕、回收资源
SparkStreaming 运行架构图
2、执行作业、创建Executor、并运行任务
1、RegisterApplication
编号
当前状态
所在位置
001
空闲
002
003
Slave1
004
005
Slave2
......
00N
客户端JVM
4、把Executor注册到Driver
Topic3
Topic2
4、提交作业
Zookeeper集群
Reduce
5、分配Container来执行程序主服务MRAPPMaster
3、Yarn-Client运行模式
2、RegisteredWorkerRegisterWorkerFailed
SparkSchedule
MPISchedule
Client1
Yarn上运行Mapreduce任务过程
Spark组件图
LocalBachend
Partitioner
1、启动应用程序
Mapreduce编程流程
Broker1
Client0
SchedulerDriver
MPIexecutor
6、RegisteredExecutorRegisterExecutorFailed
8、StatusUpdate
HadoopSchedule
2、伪分布式运行模式
Grouping Comparator
Sparkexecutor
3、复制作业的资源
Combine
4、应用程序运行完毕、回收资源
5、RegisterExecutor
7、获取输入切片
Kafka构架原理图
3、反馈任务执行状态
LoackEndPoint
1、运行job
1、RegisterWorker
MapReduce框架原理部署图
Broker2
CoarseGrainedExecutorBackend
0 条评论
下一页
