主页 / 问题 / 1031249
Accepted
Евгений
Asked:2020-10-05 01:06:53 +0000 UTC2020-10-05 01:06:53 +0000 UTC

关闭后保存更改的数据

  • 772

我在 Jupyter Notebook v.5.7.8 上分析数据，使用pd.read_csv. 之后，我用几个函数删除空的、多余的和错误的数据。然后我保存并关闭 Jupyter。

关闭 Jupyter 后，如何使存储已处理数据的 DataFrame 持久保存在 .ipynb 文件中？

这是必要的，因为不是每次都将数据导入 DataFrame，而是在下次打开它们时使用它们。

python

1 个回答

  1. Best Answer

    您可以使用一个非常简单的技巧 - 将处理后的数据保存到一个新文件并在开始时检查 - 如果有一个文件包含处理过的数据，则打开它，跳过预处理，否则处理并保存处理过的数据。因此，数据将只处理一次。

    例子：

    import os
import pandas as pd

fn = r"/path/to/data.csv"
fn_stage1 = r"/path/to/data_stage1.parquet"

if os.path.exist(fn_stage1):
    df = pd.read_parquet(fn_stage1)
else:
    df = pd.read_csv(fn)
    # process data here...
    df.to_parquet(fn_stage1)
    • 2

相关问题