RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 1404080
Accepted
Universall
Universall
Asked:2022-06-27 01:20:00 +0000 UTC2022-06-27 01:20:00 +0000 UTC 2022-06-27 01:20:00 +0000 UTC

跨 python 多处理进程分配任务

  • 772

我有一个任务:按标题查找一堆 youtube 视频(我正在编写一个不和谐的机器人)。为此,我使用youtubesearchpython,但处理 100 首歌曲可能需要 + - 2 分钟,这不适合我,我决定使用 . 将 20 首曲目分配到 5 个进程中multiprocessing。问题是我multiprocessing.Pool没有从主文件(run.py=> my_bot.load_extension('Bot')=> import parser.Parser=> multiprocessing.Pool)运行,因此我运行了 5 个机器人副本。我听说要使用if __name__ == "__main__":,但在我的情况下它不起作用(因为文件不是主文件)。如何在 5 个进程中只运行我需要的功能?

PS这是我的代码:

    async def get_songs(songs: Tuple[str, ...], *, by: str) -> list:
        result = []
        with multiprocessing.Pool(processes=5) as pool:
            step = len(songs) // 5
            args = [{"songs": songs[index: index + step], "by": by} for index in range(0, len(songs), step)]
            for res in pool.map(get_song_process, args):
                result.extend(res)
        return result

PS2:我有一个想法,写一个单独的文件并将任务拆分为其中的进程,但我认为这里有更好的解决方案

python discord
  • 1 1 个回答
  • 42 Views

1 个回答

  • Voted
  1. Best Answer
    Universall
    2022-06-29T23:04:04Z2022-06-29T23:04:04Z

    主文件与否无关紧要,重要的是所有不应再次运行的代码都位于此类 if 中。你没有Windows吗?您还需要在那里使用 freezesupport。– 疯狂精灵

    • 0

相关问题

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    我看不懂措辞

    • 1 个回答
  • Marko Smith

    请求的模块“del”不提供名为“default”的导出

    • 3 个回答
  • Marko Smith

    "!+tab" 在 HTML 的 vs 代码中不起作用

    • 5 个回答
  • Marko Smith

    我正在尝试解决“猜词”的问题。Python

    • 2 个回答
  • Marko Smith

    可以使用哪些命令将当前指针移动到指定的提交而不更改工作目录中的文件?

    • 1 个回答
  • Marko Smith

    Python解析野莓

    • 1 个回答
  • Marko Smith

    问题:“警告:检查最新版本的 pip 时出错。”

    • 2 个回答
  • Marko Smith

    帮助编写一个用值填充变量的循环。解决这个问题

    • 2 个回答
  • Marko Smith

    尽管依赖数组为空,但在渲染上调用了 2 次 useEffect

    • 2 个回答
  • Marko Smith

    数据不通过 Telegram.WebApp.sendData 发送

    • 1 个回答
  • Martin Hope
    Alexandr_TT 2020年新年大赛! 2020-12-20 18:20:21 +0000 UTC
  • Martin Hope
    Alexandr_TT 圣诞树动画 2020-12-23 00:38:08 +0000 UTC
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5