主页 / 问题 / 1586726
Accepted
Angelina
Asked:2024-07-10 19:06:18 +0000 UTC2024-07-10 19:06:18 +0000 UTC

如何解析 pandas 中的 json 列？

  • 772

数据框有一列包含以下行：{\'name\': {\'ty​​pe\': \'STRING\', \'value\': \'test\'}, \'company\': {\ ' 类型\'：\'字符串\'，\'值\'：\'Roga Kopyta LLC\'}，\'角色\'：{\'类型\'：\'字符串\'，\'值\' : \'用户\'}}

我试图将每个自定义参数解析为单独的列，获取自定义参数列的名称并用 value 中的值填充它。

我的代码：

temp_table = pd.json_normalize(data.custom)
list_col = [x for x in temp_table.columns if x.split('.')[1] == 'type']
temp_table = temp_table.drop(columns=list_col)
temp_table.columns = [x.split('.')[0] for x in temp_table.columns]
data = data[['col1', 'col2']].join(temp_table)

问题是当pd.json_normalize(data.custom)我返回一个空表时。我的假设是问题出在单引号中，我尝试替换它们：

data.custom=data.custom.apply(lambda x: x.replace("'", '"'))
data.custom=data.custom.str.replace('"', '\\\"', regex=True)

没有帮助。我尝试匹配这样的行：

data.custom=data.custom.apply(lambda x: json.loads(json.dumps(x)))

也没有帮助。现在我相信我没有正确确定原因。也许整个问题出在我的代码中。

json

2 个回答

  1. Best Answer

    代码中的注释

    import ast  # импортируем библиотеку ast для безопасного преобразования текста в словарь

df = pd.DataFrame({'Код': [1001, 1003, 1005],
                   'custom': ["""{'name': {'type': 'STRING', 'value': 'test'}, 'company': {'type': 'STRING', 'value': 'ООО "Рога копыта"'}, 'role': {'type': 'STRING', 'value': 'пользователь'}}""",
                              """{'name': {'type': 'STRING', 'value': 'Вася'}, 'company': {'type': 'STRING', 'value': 'ООО "Ромашка"'}, 'role': {'type': 'STRING', 'value': 'админ'}}""",
                              """{'name': {'type': 'STRING', 'value': 'Петя'}, 'company': {'type': 'STRING', 'value': 'ООО "Ронин"'}, 'role': {'type': 'STRING', 'value': 'продавец'}}"""]})

df.custom = df.custom.transform(ast.literal_eval)  # преобразуем текст в словари в каждой ячейке столбца custom
fields = list(set(df.custom.transform(list).sum()))  # из этого же столбца вытаскиваем множество ключей - они станут названиями столбцов
df[fields] = df['custom'].apply(lambda x: pd.Series({k: x[k]['value'] for k in x}))  # разбираем словари на столбцы
df = df.drop(columns='custom')  # удаляем исходный столбец custom, если он уже не нужен
print(df)

        Код  name            company          role
0  1001  test  ООО "Рога копыта"  пользователь
1  1003  Вася      ООО "Ромашка"         админ
2  1005  Петя        ООО "Ронин"      продавец

    另一种方法是创建一个字典列表，然后通过一次操作将其转换为框架。我在 810k 线路上测试了它，它在 33 秒内运行。

    import ast  # импортируем библиотеку ast для безопасного преобразования текста в словарь
import time
start = time.time()
mul = 270_000 #000
df = pd.DataFrame({'Код': [1001, 1003, 1005] * mul,
                   'custom': ["""{'name': {'type': 'STRING', 'value': 'test'}, 'company': {'type': 'STRING', 'value': 'ООО "Рога копыта"'}, 'role': {'type': 'STRING', 'value': 'пользователь'}}""",
                              """{'name1': {'type': 'STRING', 'value': 'Вася'}, 'company1': {'type': 'STRING', 'value': 'ООО "Ромашка"'}, 'role1': {'type': 'STRING', 'value': 'админ'}}""",
                              """{'name2': {'type': 'STRING', 'value': 'Петя'}, 'company2': {'type': 'STRING', 'value': 'ООО "Ронин"'}, 'role2': {'type': 'STRING', 'value': 'продавец'}}"""] * mul})

lst = []
dicts = df.custom.transform(ast.literal_eval)  # преобразуем текст в словари в каждой ячейке столбца custom
dicts.apply(lambda x: lst.append({k: x[k]['value'] for k in x}))
df = pd.DataFrame(lst)
print(df.head())
print((time.time()-start), 'сек.')

       name            company          role name1       company1  role1 name2     company2     role2
0  test  ООО "Рога копыта"  пользователь   NaN            NaN    NaN   NaN          NaN       NaN
1   NaN                NaN           NaN  Вася  ООО "Ромашка"  админ   NaN          NaN       NaN
2   NaN                NaN           NaN   NaN            NaN    NaN  Петя  ООО "Ронин"  продавец
3  test  ООО "Рога копыта"  пользователь   NaN            NaN    NaN   NaN          NaN       NaN
4   NaN                NaN           NaN  Вася  ООО "Ромашка"  админ   NaN          NaN       NaN
32.78659248352051 сек.

    一行相同（方法链）：

    df = pd.DataFrame(df.custom.transform(ast.literal_eval).apply(lambda x: {k: x[k]['value'] for k in x}).to_list())  # преобразуем текст в словари в каждой ячейке столбца custom, переводим в список словарей и создаем новый фрейм
    • 1 
  2. import pandas as pd
import json


your_dict = {'name': {'type': 'STRING', 'value': 'test'},
 'company': {'type': 'STRING', 'value': 'ООО "Рога копыта"'},
  'role': {'type': 'STRING', 'value': 'пользователь'}}

#Словарь в json
your_json_string=json.dumps(your_dict)

#JSON  d JSON объект
data = json.loads(your_json_string)

#Датафрейм
df = pd.DataFrame(data)

print(df)

             name            company          role
type   STRING             STRING        STRING
value    test  ООО "Рога копыта"  пользователь
    • 0

相关问题