SparkStreaming消费速度赶不上生产速度怎么办?
发布时间:2022-09-02 15:35:59
发布人:wjy

在默认情况下,Spark Streaming 通过receiver或者Direct方式以生产者生产数据的速率接收数据。
当 batch processing time > batch interval 的时候,也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长。
越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆积,可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。