Андрей Asked:2020-04-11 00:15:52 +0000 UTC2020-04-11 00:15:52 +0000 UTC 2020-04-11 00:15:52 +0000 UTC 将字典合并到一个文件中并用什么清理重复项？ 772 什么工具可以将多个字典合并到一个文件中，然后对重复项进行排序和清除？ 100+ txt, dic, doc - 字典，超过 300 GB 该工具需要支持 UTF-8 并且不删除字符串末尾的空格 сортировка 1 个回答 Voted Best Answer aleksandr barakin 2020-04-12T01:58:11Z2020-04-12T01:58:11Z 如果它们是文本文件，那么排序程序就足够了： $ sort -u файл(ы) > результат 选项-u- “删除重复项”（“只保留唯一的行”）。 关于所需资源 - 您可以看到这个问题的答案：UNIX 排序命令如何对一个非常大的文件进行排序？ 简要：使用外部排序（通过n-path合并方法），这意味着在临时目录所在的文件系统中（$TMPDIR或/tmp由选项明确指定-T каталог），必须（据我了解）在至少相同数量的可用空间（对于临时文件），原始数据是多少。
如果它们是文本文件，那么排序程序就足够了：
选项
-u- “删除重复项”（“只保留唯一的行”）。关于所需资源 - 您可以看到这个问题的答案：UNIX 排序命令如何对一个非常大的文件进行排序？
简要：使用外部排序（通过n-path合并方法），这意味着在临时目录所在的文件系统中（
$TMPDIR或/tmp由选项明确指定-T каталог），必须（据我了解）在至少相同数量的可用空间（对于临时文件），原始数据是多少。