主页 / 问题 / 1538666
Accepted
babyborn
Asked:2023-09-01 21:23:40 +0000 UTC2023-09-01 21:23:40 +0000 UTC

通过对象中的键检索所​​有 JSON 对象

  • 772

有一个非常大的 JSON，例如：

{
 'id': 'someid',
 'type': 'group',
 'children': [
    {
     'id': 'someid',
     'type': 'group',
     'children': [
        {
         'id': 'someid',
         'type': 'person'
        }
     ]
    }
 ]
}

我需要使用Python提取所有对象，一个完整的类型对象：

{
 'id': 'someid',
 'type': 'person'
}

如果在一个对象中type==person（那么我会将这些对象添加到列表中）。如果 JSON 非常大并且子对象的数量未知并且可能会发生变化，该怎么办？

python

2 个回答

  1. Best Answer

    只需递归地遍历元素并收集您需要的元素即可：

    def find_data(d, type_):
    if isinstance(d, dict):
        if d['type'] == type_:
            yield {'id': d['id'], 'type': d['type']}
        if 'children' in d:
            yield from find_data(d['children'], type_)
    elif isinstance(d, list):
        for x in d:
            yield from find_data(x, type_)
    else:
        raise ValueError(); 

data = {'id':'someid',
        'type':'group',
        'children':
            [{'id':'someid',
            'type':'group',
            'children':
                [{'id':'someid',
                'type':'person'}]}]}

result = list(find_data(data, 'person'))
print(result)

    结论：

    [{'id': 'someid', 'type': 'person'}]

    如果person最终元素肯定没有children，那么就简单一点；yield {'id': d['id'], 'type': d['type']}您可以返回整个当前字典，而不是包含某些元素的新字典yield d。

    • 2

  2. 使用 ijson 的解决方案，无需递归且无需将所有 json 加载到内存中。

    import ijson


def extract_filtered_json_objects(path_to_json, filter_key, filter_value):
    """
    Последовательно считывает json файл, затем возвращает список отфильтрованных json объектов.
    :param path_to_json: путь до json файла;
    :param filter_key: ключ фильтрации;
    :param filter_value: необходимое значение ключа фильтрации;
    :return: список из отфильтрованных json объектов.
    """
    results = []

    with open(path_to_json, 'r') as file:
        parser = ijson.parse(file)

        # Последовательно читаем json файл
        # prefix - это путь до текущей ноды;
        # event - это тип ноды, например start_map это начало списка, end_map это конец списка и т.д.
        # value - это значение текущего элемента (может принимать различные типы: None, строка, int и т.д.)
        for prefix, event, value in parser:
            # тут нас интересуют элементы списков в json и событие по нахождению какого-либо ключа в этом списке
            if prefix.endswith('.item') and event == 'map_key':
                # заготовка под объект json, который будем строить
                json_object = {}
                # пока в текущем списке есть элементы, будем их анализировать
                while event == 'map_key':
                    # ijson идет итеративно по ключам и значениям
                    # поэтому сначала сохраняем уже полученный ключ,
                    # а потом запускаем следующую итерацию для получения значения
                    key = value
                    _, _, value = next(parser)
                    json_object[key] = value
                    # для продолжения нашего while нам нужно снова перейти на следующий ключ списка
                    # поэтому в этой итерации мы специально сеттим event (там как раз будет map_key)
                    prefix, event, value = next(parser)

                # с построенным объектом json можем делать что угодно, тут мы сверяем его с фильтром и записываем
                if filter_key in json_object and json_object[filter_key] == filter_value:
                    results.append(json_object)

    return results


if __name__ == "__main__":
    json_file = "test3.json"
    
    persons = extract_filtered_json_objects(json_file, 'type', 'person')
    for person in persons:
        print(person)
    • 0

相关问题