spark基本工作原理

2019-11-25 13:58:47   0  举报





spark基本工作原理

作者其他创作

大纲/内容

节点5，处理后的数据存在内存中

spark和mapreduce最大的不同在于，迭代式计算模型，mapreduce，分为两个阶段，两个阶段玩了，就结束啦，所以我们在一个job能做的处理有限，只能在map和reduce里处理spark，计算模型，可以分为n个阶段，因为他是内存迭代式的，我们在处理完一个阶段以后，可以继续往下处理很多个阶段，

读取数据，90w条

节点4，处理后的数据存在内存中

节点1，在内存中存档30w条

节点2，在内存中存档30w条

mysql，hbase

直接返回到客户端（运行spark的机器和程序）

提交到spark集群

spark集群

hadoop的hive和hdfs

节点8

节点9

hdfs，hive，hadoop