Spark Streaming DStream Logical Model
2016-04-17 20:48:05 0 举报
Spark Streaming DStream是Spark Streaming的核心抽象,它表示连续的数据流。DStream由一组连续的RDD组成,每个RDD包含一段时间内的数据。DStream支持高度灵活的操作,如map、reduce、window等,可以用于实时数据处理和分析。此外,DStream还支持窗口操作,可以将数据划分为多个时间段,以便进行滑动窗口计算。总之,Spark Streaming DStream是一个强大的工具,可以帮助开发人员轻松地处理和分析实时数据流。
作者其他创作
大纲/内容
InputDStream(背后Receiver)
Data Stocket ServerPort
Socket编程:getInputStream不断的从远程Pull数据到Receiver中,转过来通过BloackManager进行存储
TransformationsDStream
OutputStreamForEachDStrem
Logical Model
0 条评论
下一页