理解窗口的两个关键概念,窗口长度(window length)和滑动间隔(slide interval)。 窗口函数会把原始 DStream 的若干批次的数据合并成为一个新的带窗口的DStream。其中窗口长度即每次生成新 DStream 需合并的原始 DStream 个数。滑动间隔即合并的原始 DStream 的时间间隔。
答:从某种角度来说,直播就是一份事业,事业就要认真对待,每一场直播同样是应该要有所准备的,在每场直播流程中分为三个流程:①开播前准备:本场目的、(运营+主播+投放+中控玩法策划)排品、产品上架、设备灯光调整、主播流程框架话术演练入状态;
增量查询模型(Incremental query model):Structured Streaming 将会在新增的流式数据上不断执行增量查询,同时代码的写法和批处理 API (基于 Dataframe 和 Dataset API)完全一样,而且这些 API 非常的简单。
答:户外直播的特点具有随机性,不局限灵活性好,没有标准的直播流程和脚本,娱乐打赏和卖货都可以,具有接地气,粉丝观众带入感和真是感强,可以是非移动直播,也可以是移动走播形式,可以是第一视角直播, 也可以是第二视角直播。
场景为Spark读取一张MySQL表(innodb引擎), 数据量8000万,无自增ID,业务中一个字段为(订单ID)主键。要将该表数据读取后写入到HDFS。