主页 / 问题 / 1602599
Accepted
mrgervant
Asked:2024-12-16 22:51:07 +0800 CST2024-12-16 22:51:07 +0800 CST

使用 COPY TO CSV 时将 NULL 导出为“”

  • 772

使用 Python，我使用以下查询将表从 Postgresql 保存到 CSV：

copy ({function}) to stdout with (format csv, delimiter ',', header true, force_quote *);

这个请求在哪里{function}：select ...

请求本身通过以下方式调用copy_expert：

with db_connection.cursor() as cursor, open(file_path, "w") as file:
    cursor.copy_expert(query, file)

一切正常，只有 null 在最终的 csv 中被写入为空值：

... "1",,,,"9597a9724d4dfd0c40681a0", ...
       ^^^^

我需要将 null 保存为""：

... "1","","","","9597a9724d4dfd0c40681a0", ...
       ^^^^^^^^^^

如果我理解正确的话，COPY函数中的NULL参数表示读取CSV时哪些值被识别为null。

是否可以做相反的事情 - 当写入 CSV null 时，将其写为""

或者只是进入原始选择并使用 COALESCE 将每列的 null 替换为空行 - 因为用空字符串初步手动替换 null 有帮助吗？我想知道是否可以使用 COPY 参数配置所需的行为。

UPD：根据@Mike的评论，COPY TO也可以接受NULL值作为参数，但不能传递双引号：

NULL ''           ->  осталось также ,,,
NULL ""           ->  zero-length delimited identifier at or near """"
NULL ''''         ->  null requires a parameter
NULL ''''''       ->  null requires a parameter
NULL '""'         ->  CSV quote character must not appear in the NULL specification
NULL '""""'       ->  CSV quote character must not appear in the NULL specification
NULL E'\'\''      ->  изменилось на ,',',
NULL E'\'\'\'\''  ->  изменилось на ,'','',
NULL E'\"\"'      ->  CSV quote character must not appear in the NULL specification
NULL E'\"\"\"\"'  ->  CSV quote character must not appear in the NULL specification
python

1 个回答

  1. Best Answer

    感谢@Mike澄清COPY TO 中的 NULL 参数也接受将写入 CSV 的值而不是 NULL 值。

    然而，根据测试和文档的字面解释，COPYPostgreSQL 中的函数无法将 NULL 包装在定义为 QUOTE 的字符中，根据PostgreSQL 9.5 -“CSV Format”块的文档：

    CSV 格式没有区分 NULL 值和空字符串的标准方法。在 PostgreSQL 中，COPY 命令通过使用引号解决了这个问题。 NULL 值将输出为 NULL 参数指定的字符串，并且不包含在引号中，而非 NULL 值将输出为 NULL 参数指定的字符串。例如，使用默认选项时，NULL 将被写入不带引号的空字符串，而空字符串将被写入双引号 ("") 内。

    默认情况下，QUOTE 是双引号字符"。当尝试将它们指定为 NULL 时，会发生错误：

    CSV 引号字符不得出现在 NULL 规范中

    例如，这样的调用将导致以下错误：

    copy ({function}) to stdout with (format csv, delimiter ',', null '""', header true, force_quote *);

    如果您定义自己的 QUOTE，则该符号"将可以访问 NULL：

    copy ({function}) to stdout with (format csv, delimiter ',', quote '~', null '""', header true, force_quote *);

>>> ... ~1~,"","","",~9597a9724d4dfd0c40681a0~, ...

    但是，相应地，现在尝试将 NULL 参数设置为null '~~'。

    有两种方法可以摆脱这种情况：

    1. 在原始 SELECT 查询中，对于可能出现 NULL 的每一列，使用COALESCE函数将 NULL 转换为空字符串 - 使用 FORCE_QUOTE 选项，它们将完全用双引号引起来：
    COALESCE(field, '')  >>>  Поля со значениями NULL преобразуются в ''
    1. 使用不同的、更灵活的方法来生成 CSV 文件不是COPY TO+ copy_expert。因此，在这个问题的框架内，当切换到pandaswith 时，pd.to_csv(quoting=csv.QUOTE_ALL)所有数据和标题都用双引号引起来，包括。和 NULL。
    • 0

相关问题