5-8SparkStorage
2015-10-19 17:01:20 7 举报
SparkStorage是Apache Spark的一部分,是一个可扩展、容错和高性能的分布式存储系统。它为Spark应用程序提供了数据存储和管理功能,支持多种数据源和格式,如HDFS、Cassandra、HBase等。SparkStorage通过RDD(弹性分布式数据集)抽象,实现了数据的分区、复制和计算。此外,SparkStorage还提供了丰富的API和工具,方便用户进行数据操作和查询。总之,SparkStorage是Spark生态系统中不可或缺的一部分,为大数据处理提供了强大的支持。
作者其他创作
大纲/内容
CacheManager
MasterActor
SlaveActor
Slave Disk
BlockManager(Slave Memory)......
SlaveActor(Ref)
BlockManager(Master-side)
block读写数据流传递
DiskStore本地磁盘读写
RDD iterator操作触发block的操作
BlockManagerWorker监视异步传输数据
BlockManagerMaster
SparkEnv
BlockManager(Slave Memory)
MemoryStore本地内存Block读写
ConnectionManager
MasterActor(Ref)
0 条评论
下一页