全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+

当前位置:首页 > 贵阳

Flink State?

State:指一个具体的Task/Operator的状态。State可以被记录,在失败的情况下数据还可以恢复,Flink中有两种基本类型的State: Keyed State, Operator State。

2022-09-02

Flink反压机制?

Flink 内部是基于producer-consumer模型来进行消息传递的,Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列,就像 Java 通用的阻塞队列(BlockingQueue)一样。下游消费者消费变慢,上游就会受到阻塞。

2022-09-02

大数据面数据:Flink Allowed Lateness & Side OutPut?

虽说水位线(Watermark)表明早于它的事件不应该再出现,但是接收到水位线以前的的消息是不可避免的,这就是所谓的迟到事件。实际上迟到事件是乱序事件的特例,和一般乱序事件不同的是它们的乱序程度超出了水位线的预计,导致窗口在它们到达之前已经关闭。

2022-09-02

Flink & Spark Streaming区别?

时间机制,Spark Streaming 只支持Processing Time(处理时间), 而Flink支持更为丰富的时间语义 Processing Time(处理时间),Ingestion Time(摄入时间),Event Time(事件时间),同时支持基于Watermark的乱序事件处理

2022-09-02

Flink两阶段提交(2PC)

借助一个文件写入的例子来说明两阶段提交,在Flink中使用两阶段提交,需要实现TwoPhaseCommitSinkFunction这个抽象类的四个方法,我们下面来说明。1. beginTransaction - 在事务开始前,我们在目标文件系统上面的临时目录上创建一个临时文件。随后,我们在程序处理的时候可以将数据写入到这个文件。

2022-09-02

热问标签

热门频道

在线咨询 免费试学 教程领取