spark基本工作原理
2019-11-25 13:58:47 0 举报
spark基本工作原理
作者其他创作
大纲/内容
节点5，处理后的数据存在内存中
spark和mapreduce最大的不同在于，迭代式计算模型，mapreduce，分为两个阶段，两个阶段玩了，就结束啦，所以我们在一个job能做的处理有限，只能在map和reduce里处理spark，计算模型，可以分为n个阶段，因为他是内存迭代式的，我们在处理完一个阶段以后，可以继续往下处理很多个阶段，
读取数据，90w条
节点4，处理后的数据存在内存中
节点1，在内存中存档30w条
节点2，在内存中存档30w条
mysql，hbase
直接返回到客户端（运行spark的机器和程序）
提交到spark集群
spark集群
hadoop的hive和hdfs
节点8
节点9
hdfs，hive，hadoop
所有计算操作，都是针对多个节点上的数据，进行并行计算操作的
节点7
client
节点6，处理后的数据存在内存中
节点3，在内存中存档30w条
0 条评论
回复 删除
下一页
