主页 / 问题 / 1473122
Accepted
Duracell
Asked:2022-12-02 01:31:28 +0800 CST2022-12-02 01:31:28 +0800 CST

快速访问元素索引

  • 772

有一张由字典组成的表格，一个例子：

testList
[
    {'el1':{'x': 0, 'y': 0, 'z': 0}},
    {'el2':{'x': 1, 'y': 1, 'z': 1}},
    {'el3':{'x': 2, 'y': 2, 'z': 3}}
 ]

这样一张表中有 400k+ 个字典。我们需要一种快速获取工作表元素索引号的方法。例如：您需要其中为 的工作表元素的索引'x'号0。我首先想到的是“半除法”类型的递归搜索，现在我不记得这个算法到底叫什么了。其实这个方法是实施的，结果也是安排的。但我想知道我想出了一辆自行车。也许 中有一个现成的功能list，可以让你快速搜索字典列表中的索引，或者你甚至可以使用“切片”并且速度方面的结果是一样的？

python

3 个回答

  1. Best Answer

    搜索，或者更确切地说是过滤，使用切片在 pandas 中实现。对于像您这样大的数据集，尝试使用 pandas 可能是有意义的。尽管此解决方案需要额外的内存：

    import pandas as pd

testList = [
    {'el1':{'x': 0, 'y': 0, 'z': 0}},
    {'el2':{'x': 1, 'y': 1, 'z': 1}},
    {'el3':{'x': 2, 'y': 2, 'z': 3}},
    {'el4':{'x': 0, 'y': 1, 'z': 3}}]  # <--- добавлен

df = pd.concat(map(pd.Series,testList)).apply(pd.Series).reset_index()

def get_idxs(col,val,df=df):
    return df.loc[df[col]==val].index.tolist()

get_idxs('z',3)  # [2, 3]
get_idxs('x',0)  # [0, 3]
get_idxs('y',1)  # [1, 3]

    如果这一行被替换为：

    df = pd.concat(map(pd.Series,testList)).apply(pd.Series)

    我们得到以下结果：

    get_idxs('x',0)  # ['el1', 'el4']
get_idxs('y',1)  # ['el2', 'el4']
    • 3

  2. 如果这个结构体的内容没有变化，有很多次调用它，而且x没有重复，那么你可以预先建立一个新的字典，键等于值x，并立即从中取值。同时，不会花费空间来存储元素本身——对象的引用，而不是对象的副本，进入字典。所以附加字典中的位置将只用在键和链接上。

    testList =\
[
    {'el1':{'x': 0, 'y': 0, 'z': 0}},
    {'el2':{'x': 1, 'y': 1, 'z': 1}},
    {'el3':{'x': 2, 'y': 2, 'z': 3}}
]

testListX = {next(iter(x.values()))['x']: x for x in testList}
print(testListX[1])

    结论：

    {'el2': {'x': 1, 'y': 1, 'z': 1}}

    如果x它们可以重复，那么代码会稍微复杂一些——您需要存储的不是元素，而是元素列表，但无论如何字典仍然是访问时间最快的解决方案O(1)。

    • 2

  3. 建立一个索引——一个映射一个值和一个索引列表的字典。建立一次索引并多次使用它是有意义的。与原来的列表相比，不会占用太多内存：

    def makeIndex(list_, key):
    d = {}
    for i, item in enumerate(list_):
        for v in item.values():
            d.setdefault(v.get(key), []).append(i)
    return d


testList = [
    {'el1':{'x': 0, 'y': 0, 'z': 0}},
    {'el2':{'x': 1, 'y': 1, 'z': 1}},
    {'el3':{'x': 2, 'y': 2, 'z': 3}}
]


import pprint


for key in 'axyz':
    pprint.pprint((key, makeIndex(testList, key)))

    $ python indices.py
('a', {None: [0, 1, 2]})
('x', {0: [0], 1: [1], 2: [2]})
('y', {0: [0], 1: [1], 2: [2]})
('z', {0: [0], 1: [1], 3: [2]})
    • 1

相关问题