Spark repartition和coalesce的区别
repartition只是coalesce接口中shuffle为true的实现。不经过 shuffle，也就是coaleasce shuffle为false，是无法增加RDD的分区数的，比如你源RDD 100个分区，想要变成200个分区，只能使用repartition，也就是coaleasce shuffle为true。
Spark groupByKey 和 reduceBykey 区别
reduceByKey 可以接收一个 func 函数作为参数，这个函数会作用到每个分区的数据上，即分区内部的数据先进行一轮计算，然后才进行 shuffle 将数据写入下游分区，再将这个函数作用到下游的分区上，这样做的目的是减少 shuffle 的数据量，减轻负担。
Spark Cache，Presist，CheckPoint的区别
Persist 的 MEMORY_ONLY 级别的存储等于 Cache，Persist 其他的配置只是存储的方式不同，作用和原理是和 Cache 类似的，他们二者的区别如下：
Spark Streaming 反压机制(Back Pressure)
Spark Streaming 反压机制是1.5版本推出的特性，用来解决处理速度比摄入速度慢的情况，简单来讲就是做流量控制。当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval，即 BatchDuration)时,说明处理数据的速度小于数据摄入的速度，持续时间过长或源头数据暴增，容易造成数据在内存中堆积，最终导致Executor OOM。反压就是来解决这个问题的。
Spark Streaming 窗口函数
理解窗口的两个关键概念，窗口长度(window length)和滑动间隔(slide interval)。 窗口函数会把原始 DStream 的若干批次的数据合并成为一个新的带窗口的DStream。其中窗口长度即每次生成新 DStream 需合并的原始 DStream 个数。滑动间隔即合并的原始 DStream 的时间间隔。
