主页 / 问题 / 1580985
Accepted
hedgehogues
Asked:2024-05-21 02:50:56 +0000 UTC2024-05-21 02:50:56 +0000 UTC

优化嵌套循环以处理大型数据集

  • 772

我需要处理包含超过 1000 万个元素的多维数组。当数据大小增加时，嵌套循环无效。这是我正在使用的代码示例：

data = [[[randint(0, 100) for _ in range(100)] for _ in range(100)] for _ in range(1000)]

def process(value):
    # Пример обработки данных
    return value * 2

start_time = time.time()
for i in range(len(data)):
    for j in range(len(data[i])):
        for k in range(len(data[i][j])):
            data[i][j][k] = process(data[i][j][k])
print("Время выполнения:", time.time() - start_time)

数据量大约为分布在 3D 数组 (1000 x 100 x 100) 中的 1000 万个元素。

  1. 用于优化处理的有趣的库和方法（焦点任务）
  2. 特别感兴趣的是并行处理（副任务）
python

2 个回答

  1. Google Colab 中的 1/10 秒生成如下数据并进行处理：

    import numpy as np

data = np.random.randint(0, 100, size=(1000, 100, 100))
data *= 2
    • 3
  2. Best Answer

    列表是数学上不相关的元素的集合，因此此类操作必须通过暴力来执行。您需要使用一个库numpy将您的数据集表示为向量，并且您可以立即对整个对象执行类似的计算。你的任务将如下所示：

    from random import randint
import numpy as np

data = [[[randint(0, 100) for _ in range(100)] for _ in range(100)] for _ in range(1000)]

np_data = np.array(data) # превращаем список в массив numpy
np_data *= 2 # здесь функция, которую надо применить к каждому элементу

    会非常快。

    UPT

    我们来测量一下。我们以两种方式测量向量的运算。如果您有机会最初将数据存储在向量中，我们将仅测量乘法运算。如果没有，我们将测量向量转换和乘法。

    from random import randint
import numpy as np
import time

data = [[[randint(0, 100) for _ in range(100)] for _ in range(100)] for _ in range(1000)]
np_data = np.array(data)

start_time = time.time()
np_data *= 2
print("Время выполнения умножения вектора:", time.time() - start_time)

start_time = time.time()
np_data = np.array(data)
np_data *= 2
print("Время выполнения преобразования в вектор и умножения вектора:", time.time() - start_time)

def process(value):
    # Пример обработки данных
    return value * 2

start_time = time.time()
for i in range(len(data)):
    for j in range(len(data[i])):
        for k in range(len(data[i][j])):
            data[i][j][k] = process(data[i][j][k])
print("Время выполнения умножения перебором:", time.time() - start_time)

    结果：

    Время выполнения умножения вектора: 0.005906820297241211
Время выполнения преобразования в вектор и умножения вектора: 0.5156631469726562
Время выполнения умножения перебором: 2.2284791469573975

    UPD2

    纯粹出于研究目的，我决定窃取 CrazyElf 的答案并在我的硬件上进行测量以进行比较。也就是说，我们用向量生成方法来测量numpy。

    start_time = time.time()
np_data = np.random.randint(0, 100, size=(1000, 100, 100))
np_data *= 2
print("Время выполнения генерации и умножения вектора:", time.time() - start_time)

    这里：

    Время выполнения генерации и умножения вектора: 0.10832500457763672
    • 1

相关问题