DStream
发布时间:2022-09-02 15:31:42
发布人:wjy

DStream是Spark Streaming的基础抽象,代表持续的数据流,它由一系列连续的RDD组成,一个批次间隔接收的数据只会存放在一个block中,因此每个批次间隔都只会产生一个RDD。
DStream与RDD同样是不可变的,每个算子都会创建一个新的DStream,因此一个批次可能会有多个DStream。
对同一个DStream连续window没有意义,因为foreach只会按照最后一个window生成的DStream来对待RDD。