全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  应聘面试  >  大数据面试题

Flink是如何保证Exactly-once语义?

发布时间:2022-09-02 16:59:46
发布人:wjy

Flink通过实现两阶段提交和状态保存来实现端到端的一致性语义。

分为以下几个步骤: 

开始事务( beginTransaction ) 创建一个临时文件夹,来写把数据写入到这个文件夹里面

预提交( preCommit ) 将内存中缓存的数据写入文件并关闭

正式提交( commit ) 将之前写完的临时文件放入目标目录下。

这代表着最终的 数据会有一些延迟

丢弃( abort ) 丢弃临时文件 若失败发生在预提交成功后, 正式提交前。 可以根据状态来提交预提交的数据, 也可删除预提交的数据。

Flink是如何保证Exactly-once语义

相关文章

大数据kafka常见面试题——如何搭建kafka?

2023-08-07

大数据kafka常见面试题——kafka中如何避免重复消费

2023-08-04

大数据面试题之多种方法创建dataframe

2023-08-02

大数据Hadoop面试题——Hadoop干什么用的?

2023-08-01

大数据行业2年工作经验的面试题有哪些?

2023-07-28

大数据kafka面试题——kafka和flume的区别是什么?

2023-07-27
在线咨询 免费试学 教程领取