大数据面试题:kafka详解
发布时间:2022-06-21 18:14:00
发布人:syq
1.延迟队列,重试队列,死信队列
延迟队列:用户登录过时,订单30分钟自动取消
重试队列:可以利用延迟队列实现,即该消息处理失败后,多久时间重试
死信队列:消息处理失败的队列
2.afka高吞吐量
1)消息顺序写到磁盘
2)分区
3)零拷贝:跳过“用户缓冲区”的拷贝,消费者直接通过offset位置,批量拉取消息
4)生产者,通过缓存批量发送消息
3.kafka优缺点
1)只能支持统一分区内消息有序,无法实现全局消息有序
2)会丢失数据和重复消费数据
4.kafka分区数过多引发的弊端
1)分区数过多,客户端内存会有小幅度增加;当分区数远大于消费端,线程频繁切换,影响性能;
2)文件句柄开销
3)broker主机down恢复问题,如果分区数过多,单一broker就会承载很多分区,在down过程涉及到的leader重选举和恢复过程中的在均衡时间消耗就比较长。
更多关于“大数据培训”的问题,欢迎咨询千锋教育在线名师。千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,千锋教育随时欢迎你来试听。