RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 612103
Accepted
I'amNotYou
I'amNotYou
Asked:2020-01-08 14:07:25 +0000 UTC2020-01-08 14:07:25 +0000 UTC 2020-01-08 14:07:25 +0000 UTC

删除文件中的重复行

  • 772

有一个文本文件,它包含 1000 封电子邮件,每封电子邮件占一行。其中一些是重复的。处理后的输出必须是仅包含唯一电子邮件的文件。如何用Python 3实现这个?

python
  • 2 2 个回答
  • 10 Views

2 个回答

  • Voted
  1. Best Answer
    Sergey Gornostaev
    2020-01-08T14:53:40Z2020-01-08T14:53:40Z

    从列表中删除重复项的最快和最简单的方法是将其转换为集合。set() 集合构造函数接受任何可迭代对象,包括文件描述符。之后,只剩下将集合转换回字符串并将其写入另一个文件:

    with open('emails.txt') as in_fh, open('deduplicated.txt', 'w') as out_fh:
        out_fh.write(''.join(set(in_fh)))
    
    • 5
  2. jfs
    2020-01-09T00:12:57Z2020-01-09T00:12:57Z

    要打印在命令行或标准输入中指定的文件中给出的唯一电子邮件:

    #!/usr/bin/env python
    import fileinput
    
    print("\n".join(set(map(str.strip, fileinput.input()))))
    

    例子:

    $ dedup emails.txt >uniq-emails.txt
    

    或者:

    $ dedup < emails.txt >uniq-emails.txt
    

    即使行中存在/不存在不可见空间,代码也能正常工作。例如,文件中的最后一行可能有也可能没有换行符——结果仍然是正确的。


    存在set()导致结果以随机顺序打印,每次运行都可能发生变化。要模拟sort -u emails.txt,您可以使用groupby(sorted()):

    #!/usr/bin/env python
    import fileinput
    from itertools import groupby
    
    for line, _ in groupby(sorted(map(str.strip, fileinput.input()))):
        print(line)
    

    用法相同:输入从文件或标准输入中读取,输出打印到标准输出。


    对于电子邮件的情况,这不是必需的,但一般来说,要仅打印内存中放不下的大文件中的唯一行LC_ALL=C sort -u < input,Python 等效项是:

    #!/usr/bin/env python3
    import contextlib
    import heapq
    import sys
    from itertools import groupby
    from tempfile import TemporaryFile
    from operator import itemgetter
    
    def uniq(sorted_items):
        return map(itemgetter(0), groupby(sorted_items))
    
    sorted_files = []
    with contextlib.ExitStack() as stack:
        # sort lines in batches, write intermediate result to temporary files
        nbytes = 1 << 15 # read ~nbytes at a time
        for lines in iter(lambda f=sys.stdin.detach(): f.readlines(nbytes), []):
            lines.sort()
            file = stack.enter_context(TemporaryFile('w+b')) #NOTE: file is deleted on exit
            file.writelines(uniq(lines)) # write sorted unique lines
            file.seek(0) # rewind, to read later while merging partial results
            sorted_files.append(file) #NOTE: do not close the temporary file, yet
    
        # merge and write results
        sys.stdout = sys.stdout.detach() # suppress ValueError: underlying buffer has been detached
        sys.stdout.writelines(uniq(heapq.merge(*sorted_files)))
    

    例子:

    $ sort-u < emails.txt >uniq-emails.txt
    

    在这种情况下,输入仅来自标准输入,字符串作为字节序列进行比较(假设所有字符串都以换行符结尾)。

    相关问题:使用 Python 对文本文件进行排序。

    • 1

相关问题

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    Python 3.6 - 安装 MySQL (Windows)

    • 1 个回答
  • Marko Smith

    C++ 编写程序“计算单个岛屿”。填充一个二维数组 12x12 0 和 1

    • 2 个回答
  • Marko Smith

    返回指针的函数

    • 1 个回答
  • Marko Smith

    我使用 django 管理面板添加图像,但它没有显示

    • 1 个回答
  • Marko Smith

    这些条目是什么意思,它们的完整等效项是什么样的

    • 2 个回答
  • Marko Smith

    浏览器仍然缓存文件数据

    • 1 个回答
  • Marko Smith

    在 Excel VBA 中激活工作表的问题

    • 3 个回答
  • Marko Smith

    为什么内置类型中包含复数而小数不包含?

    • 2 个回答
  • Marko Smith

    获得唯一途径

    • 3 个回答
  • Marko Smith

    告诉我一个像幻灯片一样创建滚动的库

    • 1 个回答
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Алексей Шиманский 如何以及通过什么方式来查找 Javascript 代码中的错误? 2020-08-03 00:21:37 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    user207618 Codegolf——组合选择算法的实现 2020-10-23 18:46:29 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5