Василий Никпуп Asked:2020-10-10 00:58:08 +0000 UTC2020-10-10 00:58:08 +0000 UTC 2020-10-10 00:58:08 +0000 UTC 是否可以从同一个 Kafka 分区的多个进程/线程中并行读取? 772 我有一个包含 3 个分区的集群和主题。默认情况下,当我从 kafka 获取批次时,我会在读取所有消息后重置偏移量。我可以从这个分区的多个线程中并行读取吗? apache-kafka 1 个回答 Voted Best Answer andreycha 2020-10-19T20:00:37Z2020-10-19T20:00:37Z Kafka 中的分区是并行度的单位。来自分区的所有消息通常按顺序读取。据我所知,所有官方司机都是这样工作的。 在应用程序中,您可以顺序读取 N 条消息(这非常快),然后并行处理它们。但是,在这样做时,您需要考虑何时提交以及提交什么内容,如何处理无法处理的消息等。
Kafka 中的分区是并行度的单位。来自分区的所有消息通常按顺序读取。据我所知,所有官方司机都是这样工作的。
在应用程序中,您可以顺序读取 N 条消息(这非常快),然后并行处理它们。但是,在这样做时,您需要考虑何时提交以及提交什么内容,如何处理无法处理的消息等。