SparkStreaming流处理框架
2016-05-16 16:33:49 0 举报
SparkStreaming是Apache Spark的一个扩展,是一个实时大数据处理框架。它能够对数据流进行实时处理,支持多种数据源,如Kafka、Flume、HDFS等。SparkStreaming采用微批处理的方式,将数据流拆分为多个小批次进行处理,从而实现高吞吐量和低延迟的数据处理。同时,SparkStreaming还提供了丰富的API和内置算法库,方便用户进行实时数据分析和机器学习任务。总之,SparkStreaming是一个功能强大、易于使用的实时流处理框架,适用于各种实时数据处理场景。
作者其他创作
大纲/内容
ReceiverTracker
线程:streaming-start
JobGenerator start
StreamingContext
JobScheduler
streaming-job-executor
ReceivedBlockTracker
RecurringTimer
DStreamGraph
jobExecutor
eventLoop
Start
消息通信体
JobGenerator
JobGeneratorEvent
start
0 条评论
下一页