主页 / 问题 / 1438383
Accepted
monastyref
Asked:2022-08-11 18:52:14 +0000 UTC2022-08-11 18:52:14 +0000 UTC

如何理解 Kafka 主题中的一些消息在哪里消失了？

  • 772

我从负载生成器给生产者发了1万条消息到kafka主题，看grafana，显示已经发送了1万条，在kafka中我查看消息总数，每次都有一点点缺失，例如 9959 或 9983。可能是什么问题以及如何定位和确定它？

jmeter apache-kafka

1 个回答

  1. Best Answer
    1. Grafana 只显示数据源返回的内容，也许您应该检查她的可视化设置以及她从哪里获取数据
    2. Kafka 本身是一个非常复杂的系统，在分布式架构的情况下，可能是一个副本已接收到数据，但尚未复制到其他副本或内存中的数据而不是磁盘上的数据。

    我首先建议您在JMeter和Kafka中启用 DEBUG 级别日志，看看那里是否有任何可疑条目。

    还能做什么：

    1. 在 JMeter 方面：

      • 将参数设置acks为-1，则当所有副本都确认收到时，JMeter 将认为消息已传递
      • 增加价值retries和delivery.timeout.ms

    2. 站在卡夫卡一边

      • 将值min.insync.replicas增加到至少 2

    这是一篇很好的文章，解释了数据丢失的可能原因：When you can lost messages in Kafka

    • 0

相关问题