主页 / 问题 / 707053
Accepted
Yevhen Surovskyi
Asked:2020-08-17 16:42:46 +0000 UTC2020-08-17 16:42:46 +0000 UTC

ClickHouse 中缺少数据

  • 772

大家好。请帮我弄清楚。有一个由 4 台 2x2 机器组成的 clickhouse 集群。ReplicationMergeTree 表已创建。上面是分布式表。Insert 变为 ReplicationMergeTree 表中。从分布式表中采样。问题是写入的行数与 select 返回的不匹配。我查看了 clickhouse 日志 - 消息“使用 ID .... N 行编写块”。这里的数字与预期收敛。如果将 ReplicationMergeTree 替换为 MergeTree，则不存在此类问题。可能是什么问题呢？在哪里寻找？谢谢

clickhouse

1 个回答

  1. Best Answer

    发生这种情况有两个可能的原因。

    1. 插入时重复数据删除。

    数据块被重复数据删除。当多次写入同一个数据块时（相同大小的数据块，包含相同顺序的相同行），该块只会被写入一次。这样做是为了在发生网络故障时，当客户端应用程序无法了解数据是否已写入数据库时​​，您可以简单地重复 INSERT 请求。将具有相同数据的副本 INSERT 发送到哪个副本并不重要。也就是说，提供了 INSERT 的幂等性。这仅适用于插入表中的最后 100 个块。

    在日志中，这将对应于消息

    带有 ID 的块 ... 已存在；忽略它

    1. 不正确的复制设置或集群配置。如果副本无法从彼此下载数据，则会在日志中显示相应的消息。下载数据的尝试可以在 Fetching part ...
    • 1

相关问题