首页 文章 Go语言基础 kafka-Consumer Group 不消费问题
0
0
0
266

kafka-Consumer Group 不消费问题

并发控制 kafka-Consumer Consumer 问题 kafka Group

一.问题现象:

go 客户端简单consumer 模式可以消费

go客户端consumer group模式不可消费,客户端运行到一下代码卡住

<-consumer.ready // consumer一直没有ready
fmt.Println("Sarama consumer up and running!...")

java客户端不可消费

客户端每次poll不到数据,没有日志输出

ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000)); //每次poll到0条数据

二.排查过程:

1.java客户端开启debug日志,查询debug日志

debug日志显示,找不到协调器(ConsumerCoordinator)

2.查询kafka服务端日志

[2020-10-21 13:01:53,464] ERROR [KafkaApi-0] Number of alive brokers '2' does not meet the required replication factor '3' for the offsets topic (configured via 'offsets.topic.replication.factor'). This error can be ignored if the cluster is starting up and not all brokers are up yet. (kafka.server.KafkaApis)

3.查询kafka的log文件夹

没有__consumer_offsets文件,说明offsets这个topic没有创建成功

三.原理:

1.consumer group的创建需要__consumer_offsets这个topic的创建,用来保存每个consumer成员提交的offsets

四.解决方案及注意:

1.offsets.topic.replication.factor默认为3.所有broker数量需要大于3

2.如果broker数量小于3,则需要设计offsets.topic.replication.factor小于等于broker数量

到此这篇关于“kafka-Consumer Group 不消费问题”的文章就介绍到这了,更多文章或继续浏览下面的相关文章,希望大家以后多多支持Go语言编程!

相关文章

创建博客

开始创作
写作能提升自己能力,也能为他人分享知识。

在线教程

查看更多
  • Go入门指南

    Go入门指南

  • Go语言高级编程

    Go语言高级编程

  • Go Web 编程

    Go Web 编程

  • GO专家编程

    GO专家编程

  • Go语言四十二章经

    Go语言四十二章经

  • 数据结构和算法(Golang实现)

    数据结构和算法(Golang实现)

Go语言编程网

微信扫码关注订阅号


博客 资讯 教程 我的