全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

大数据面试题:经典面试题答疑(六)

发布时间:2022-06-09 09:15:00
发布人:syq

  1. “消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?

  答案:正确,可以通过自定义分区分配策略,将消费者指定到某个分区。

  2. 有哪些情形会造成重复消费或消息丢失?

  答案:

  2.1当poll部分消息集后,立即提交offset,在这部分消息集处理,可能会发生异常,这就导致部分消息丢失。

  2.2位移提交的动作是在消费完所有拉取到的消息之后才执行的,中间可能发生异常,恢复后重新重新拉取,可能会导致重复消费

  3. KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?

  答案:

  3.1在每个线程中新建一个KafkaConsumer

  3.2单线程创建KafkaConsumer,多个处理线程处理消息(难点在于是否要考虑消息顺序性,offset的提交方式)

  4. 当你使用kafka-topics.sh创建(删除)了一个topic。

  答案:

  创建:

  1)会在zookeeper中的/brokers/topics节点下创建一个新的topic节点,如:/brokers/topics/first

  2)触发Controller的监听程序

  3)kafka Controller 负责topic的创建工作,并更新metadata cache

  删除:

  调用脚本删除topic会在zk上将topic设置待删除标志,kafka后台有定时的线程会扫描所有需要删除的topic进行删除

  5. topic的分区数,增减问题。

  答案:分区只能增加,不能减少(若是减少分区需要考虑的问题太多,事物性问题,顺序性问题,时间戳问题,但是收益太小),副本可以减少。

  更多关于大数据培训的问题,欢迎咨询千锋教育在线名师,如果想要了解我们的师资、课程、项目实操的话可以点击咨询课程顾问,获取试听资格来试听我们的课程,在线零距离接触千锋教育大咖名师,让你轻松从入门到精通。

相关文章

抖音小店怎么看购物车商品

抖音小店怎么看购物车商品

2023-10-08
蓝v抖音小店怎么开通店铺

蓝v抖音小店怎么开通店铺

2023-10-08
抖音小店运营人员招聘要求高吗

抖音小店运营人员招聘要求高吗

2023-10-08
抖音小店怎么更改类目名称

抖音小店怎么更改类目名称

2023-10-08

最新文章

上海物联网培训一般费用多少

上海物联网培训一般费用多少

2023-09-12
北京物联网培训费用大概多少

北京物联网培训费用大概多少

2023-09-12
北京物联网培训需要费用高不高

北京物联网培训需要费用高不高

2023-09-12
上海效果好的物联网培训费用高吗

上海效果好的物联网培训费用高吗

2023-09-12
在线咨询 免费试学 教程领取