全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  技术干货

Kafka groupid详解

发布时间:2023-11-23 19:29:40
发布人:xqq

一、groupid的定义

在使用Kafka的时候,我们经常会看到group.id这个配置项,它是一个字符串类型的配置项。具体来说,每个消费者都有一个group id,一般情况下我们可以将同样处理某个数据源的消费者放置在一组中,使用group id进行标识。

举个例子,如果你有一个在多个地方运行的日志处理程序,每个程序都会处理某个topic的消息,那么你可以用相同的group id来标识这个处理组,以确保传递给组中的每个处理程序的消息是唯一的。

二、groupid的作用

Kafka通过group id分配消费者之间的消息,确保一个组内的消费者不会接收到相同的消息。当同一个group id下的多个消费者订阅了同一个topic时,每个消息将只能被一个消费者消费。

在多个消费者共同消费一个topic的场景下,可以通过groupid来做load balance,即通过groupid的设置,部署多个消费者实例来对消息进行消费。

三、groupid的注意事项

1、group id需要唯一

在同一个Kafka集群中,group id需要唯一,如果两个group使用了相同的groupid,它们就会消费相同的消息,造成消息的重复消费。

2、重新启动后,groupid也需要唯一

如果在同一个group中,消费者重启或新加入消费者组,那么每次加入新消费者之前,需要确保添加的消费者的group id在之前没有被使用过。

3、group id的更改会导致消费者重新从头开始消费

Kafka集群会为group id下的每个消费者保存消费的偏移量,如果group id被更改,消费者将会从头开始消费。

四、实例代码


// 配置项
properties.put("group.id", "test-group");

// 创建消费者
KafkaConsumer consumer = new KafkaConsumer<>(properties);

// 订阅topic
consumer.subscribe(Arrays.asList("test-topic"));

// 消费消息
while (true) {
    ConsumerRecords records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord record : records) {
        System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
    }
}

五、小结

Kafka是一个分布式的消息队列,通过group id来保证消费者组内的消息处理具有唯一性,可以做到消息的负载均衡和处理组内消息的互斥性。在使用时需要注意group id的唯一性以及更改group id的影响等问题。

kafkagroupid

相关文章

详细解析JavaConvert

详细解析JavaConvert

2023-11-23
解析background透明度

解析background透明度

2023-11-23
详解makeinstall报错

详解makeinstall报错

2023-11-23
Trunk与Access的区别

Trunk与Access的区别

2023-11-23

最新文章

武汉新媒体行业公司排名

武汉新媒体行业公司排名

2023-11-01
武汉新媒体就业现状好吗

武汉新媒体就业现状好吗

2023-11-01
武汉全媒体行业发展现状及趋势

武汉全媒体行业发展现状及趋势

2023-10-31
武汉全媒体现状

武汉全媒体现状

2023-10-31
在线咨询 免费试学 教程领取