全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+

当前位置:首页 > 大数据

Kafka Partition 如何保证副本数据的一致性

为了保证可用性,Kafka 的分区是多副本的,可以在创建分区时通过 replication-factor 参数指定该分区的副本数,某一副本丢失并不会造成实际数据的丢失,从其他副本获取数据即可。但同时引出了另外一个问题,各个副本之间的数据如何保证一致性?

2022-08-31

Kafka如何在数据一致性和可用性做平衡的

如果Leader失败了,一个未完全同步数据的Replication被选择为了Leader,数据是否会丢失呢这种情况下,数据会丢失,可以保证可用性,但是不能保证一致性 * 有一个参数可以指定只允许ISR中的Replication作为leader来保证一致性 unc...

2022-08-31

Kafka ACK机制

Producer只要收到一个分区副本成功写入的通知就认为推送消息成功了。这个副本必须是leader副本, 只有leader副本成功写入了,Producer才会认为消息发送成功。但是,果leader成功写入后,还没来得及把数据同步到Follower节点就挂了,这时候消息就丢失了。 ack的默认值就是1。这个默认值其实就是吞吐量与可靠性的一个折中方案。

2022-08-31

消息系统Kafka笔试题:Kafka底层的文件存储结构

如何根据Offset来查找一条消息: 根据指定的偏移量,使用二分法查询定位出该偏移量对应的消息所在的分段索引文件和日志数据文件。然后通过二分查找法,继续查找出小于等于指定偏移量的最大偏移量,同时也得出了对应的Position(实际物理位置),根据该物理位置在分段的日志数据文件中顺序扫描查找偏移量与指定偏移量相等的消息。

2022-08-29

hiveSQL的分组topN问题

大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

2022-08-29

热问标签

热门频道

在线咨询 免费试学 教程领取