Spark Streaming的窗口大小,每个窗口处理的数据量大小。
发布时间:2022-09-02 15:36:05
发布人:wjy
该问题一定要根据业务需求来确定,比如要实现的需求为:统计每分钟的前一个小时的在线人数。
上面需求的窗口大小(窗口长度)为1小时,然后再统计每个窗口需要处理的数据量。
窗口处理的数据量 = 每个批次处理的平均数据量 * 窗口的批次数量