主页 / 问题 / 1253735
Accepted
Vasyl Kolomiets
Asked:2022-03-10 01:04:04 +0000 UTC2022-03-10 01:04:04 +0000 UTC

如何选择满足条件的第一行？

  • 772

这是数据集：

import pandas as pd
test = pd.DataFrame({"par1": [1, 2, 3, 4, 5], 
                     "par2": [11, 12, 13, 14, 15],
                     "par3": [21, 22, 23, 24, 25],
                     })

test
Out[45]: 
   par1  par2  par3
0     1    11    21
1     2    12    22
2     3    13    23
3     4    14    24
4     5    15    25

如何获得满足一组条件的第一行？

具体来说，我有一组数字 p1、p2、p3。如何选择条件 par1>p1 & par2>p2 & par3>p3 为真的第一行？例如，找到一个适合尺寸为 p1、p2、p3 的对象的框。

这是我的解决方案：

test[(test["par1"]>2) & (test["par2"]>13) &  (test["par3"]>1)].iloc[0, :]

Out[43]: 
par1     4
par2    14
par3    24
Name: 3, dtype: int64

有人怀疑 Pandas 有更好的解决方案。这就像使用 break 按条件退出循环。选择所有满足条件的记录显然是多余的。

python

2 个回答

  1. Best Answer

    “更有效”的解决方案不会被矢量化，因为 你必须使用一个循环。因此，它可能比“效率较低”要慢。;)

    或者，您可以使用 Numba：

    from numba import prange, njit, jit, i8

@njit('i8(i8[:, :], i8, i8, i8)')
def fun(arr, p1, p2, p3):
    for i in range(len(arr)):
        if arr[i, 0] > p1 and arr[i, 1] > p2 and arr[i, 2] > p3:
            return i
    return -1

    测试：

    In [59]: idx = fun(test.to_numpy(), p1, p2, p3)

In [60]: res = test.iloc[idx] if idx >= 0 else None

In [61]: res
Out[61]:
par1     4
par2    14
par3    24
Name: 3, dtype: int64

    对于超过 1,000,000 个条目的数据集，我建议使用 GPU ( numba + cuda)或cupy.

    PS 我会把大型阵列的工作速度的比较留给你）

    • 3

  2. 帧性能对比：(5000, 3)

    df = pd.concat([test] * 10**3, ignore_index=True)

df.shape
>>> (5000, 3)

    熊猫

    %timeit df[(df["par1"]>2) & (df["par2"]>13) &  (df["par3"]>1)].iloc[0]
>>> 846 µs ± 6.17 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

%timeit df.query("par1 > 2 and par2 > 13 and par3 > 1").iloc[0]
>>> 1.87 ms ± 11.9 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

    努巴

    %%timeit
idx = fun(df.to_numpy(), 2, 13, 1)
res = df.iloc[idx] if idx >= 0 else None
>>> 74.9 µs ± 577 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%%timeit
idx = fun(df.to_numpy(), 2, 13, 1000)
res = df.iloc[idx] if idx >= 0 else None
>>> 8.34 µs ± 63.2 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

    莫丁[射线]

    %timeit df[(df["par1"]>2) & (df["par2"]>13) &  (df["par3"]>1)].iloc[0]
>>> 11.9 s ± 267 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit df.query("par1 > 2 and par2 > 13 and par3 > 1").iloc[0]
>>> 2.3 s ± 645 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

    结论

    • 熊猫：1（基线）
    • Numba：0.0885（比 Pandas 快 11 倍）
    • Modin[ray]：2.7187（比 Pandas 慢 2.7187）

    PS我modin[ray]对广告的期望更高。

    • 3

相关问题