org.apache.spark(spark core ja
2017-04-03 13:44:24 17 举报
AI智能生成
Apache Spark是一个开源的分布式计算系统,它提供了一个快速、通用和易于使用的数据处理引擎。Spark的核心库是Spark Core,它是一个用于执行基本任务的功能集合,例如数据读取、处理和写入。Spark Core支持Java语言,这使得Java开发者可以方便地使用Spark进行大数据处理。此外,Spark还提供了丰富的扩展库,如Spark SQL、Spark Streaming、MLlib和GraphX,以满足各种数据处理需求。总之,Apache Spark是一个强大的大数据处理工具,可以帮助企业和开发者更高效地处理和分析海量数据。
作者其他创作
大纲/内容
StoreLevel
一共有12种存储级别
boolean useDisk,
boolean useMemory,
boolean useOffHeap,
boolean deserialized,
int replication
boolean useMemory,
boolean useOffHeap,
boolean deserialized,
int replication
functions
CoGroupFunction
一对多的算子
DoubleFlatMapFunction
一对多的算子
DoubleFunction
FilterFunction
FlatMapFunction
FlatMapFunction2
多对多的算子
FlatMapGroupsFunction
一对多的算子
ForeachFunction
ForeachPartitionFunction
Function?
MapFunction
MapGroupsFunction
MapPartitionsFunction
Dataset's mapPartitions
IO
LZ4BlockInputStream
extends FilterInputStream
输入流,输出流
压缩
解压
NioBufferedFileInputStream
memory
MemoryConsumer
TaskMemoryManager
pageSize
MemoryMode
used
allocateArray
allocatePage
class TaskMemoryManager
pageTable
allocatedPages
memoryManager
MemoryMode
serializer
0 条评论
下一页