将多维数值数组写入文件，然后分段读取

1) 从文件中读取数据是一项耗时的操作，因此最好将所有内容读入变量并使用它。

2）如果数据量不允许将它们保存在内存中，那么将所有数据放在一个文件中也是一个坏主意。比如读取一个文件的第100行，必须先读取前面的99行。那些，每次访问文件时，将读取“额外”信息（索引较低的行）

3）为了避免不必要的读取（如p2）和不将数据保存在内存中（如p1）
，例如数据可以放在不同的文件中，而不是一个文件的不同行。为此，使用pickle + 类DataFile，它提供读取和写入具有特定索引的文件的功能。为了使用运算符访问数据文件[]，您需要定义方法 __setitem__ __getitem__

import pickle

class DataFile:
    def __setitem__(self, index: int, value):
        '''сохранить в файл index.data'''
        with open('{}.data'.format(index), 'wb') as f:
            pickle.dump(value, f)

    def __getitem__(self, index: int):
        '''читать из файла index.data'''
        with open('{}.data'.format(index), 'rb') as f:
            return pickle.load(f)

if __name__ == '__main__':
    file = DataFile()
    # записать в файл file[индекс] - индекс.data
    file[0] = [[2, 1, 3, 4, 5], [11, 12, 13, 14, 15], [21, 22, 23, 24, 25]]
    file[1] = 10
    file[2] = {'123': [-1, -2, [-3]]}
    # читать из file[индекс] - индекс.data
    d1 = file[0][1][-1]  # 15
    d2 = file[1]  # 10
    d3 = file[2]['123'][2]  # [-3]
    print(d1, d2, d3)

下午好。您可以通过提供包含以下行的列表来解决您的问题：

temp_lst = [1,2,3,4,5]
global_lst = []

for i in range(4):
    global_lst.append(temp_lst)

f = open('test.txt', 'a') #аттрибут a - будет открывать файл на дозапись, w - на перезапись
f.write(str(global_lst))
f.close()

使用 repr() 函数也可以：

f.write(repr(global_lst))

要使用文件，您需要打开它们。如果文件不存在，将创建它（仅当文件未打开以供读取时）。您可以通过两种方式执行此操作：

f = open('filename.txt', 'attr') # где attr - формат работы с файлом (r, w, a, r+, w+, rb, wb)

这种处理文件的格式不会自动关闭它，因此在处理完它后，您需要关闭它：

f.close()

这种工作格式会自动关闭文件并允许您一次打开多个文件：

with open('file1.txt', 'r') as f1, open('file1.txt', 'a') as f2:
    data = f1.read()
    f2.write(data)

try:
    f1.read()
except:
    print('file closed')

当然，以后再编入索引是不可能的。而且，一般来说，最好使用像 pandas 这样的专门库和像 csv 或 json 这样的数据格式来处理数据。但如果你真的想使用基本工具，那么我可以提供这个录制选项：

f = open('test.txt', 'a') #аттрибут a - будет открывать файл на дозапись, w - на перезапись
for x in range(len(global_lst)):
    for j in range(len(global_lst[x])):
        f.write(str(global_lst[x][j]) + ' ' + str(x) + ' ' + str(j) + '\n')
f.close()

因此，在每一行我们写：

число первый_индекс второй_индекс

然后，将行输入作为输入，我们可以通过对它们应用 split(' ') 函数并从每一行获取以下形式的数组来恢复原始数组：

[число, первый индекс, второй индекс]

好吧，接下来就看小事了：正确组装数组，引用每一行数组的元素。

# Записываем файл
outputfile = "./DATA/test_file.txt"
myfile = open(outputfile, mode='w', encoding='latin_1')
myfile.write(repr(c)) # repr()
myfile.write("\n")
myfile.write(repr(c)) # repr()
myfile.write("\n")
myfile.close()

# Читаем из него
myfile = open(outputfile, mode='r', encoding='latin_1')
a1=[]
a2=[]
for line in myfile:
    g = eval(line) # eval() - очень крутая штука :)
    a1.append(g[0])
    a2.append(g[1])
print(a1)
$[[[1, 2, 3, 4, 5], [11, 12, 13, 14, 15], [21, 22, 23, 24, 25]], [[1, 2, 3, 4, 5], [11, 12, 13, 14, 15], [21, 22, 23, 24, 25]]]
print(a2)
$[[10, 20, 30, 40, 50], [10, 20, 30, 40, 50]]

如果不是因为读取文件的问题，一切都会好起来的。我正在绞尽脑汁研究如何不连续读出所有行，而是只读出正确的数字。那些。您需要键入一个包含特定数字的新行数组。台词不顺……那我还想什么呢。问题仍然没有完全解决:(

评论里，代码看起来不太好，所以我会写在答案里。

这里我们创建一个多维数组：

temp_lst = [1,2,3,4,5]
temp_lst2 = []
global_lst = []

for i in range(4):
    temp_lst2.append(temp_lst)

for i in range(4):
    global_lst.append(temp_lst2)

这里我们将它写入一个文件：

f = open('test.txt', 'w')
f.write(str(global_lst) + '\n')
f.close()

这里我们从文件中读取一个多维数组并输出一些值：

f = open('test.txt', 'r')
lst = eval(f.readlines()[0]) # задаём переменной lst первую строку из файла 'test.txt'
print(lst[0]) #[[1, 2, 3, 4, 5], [1, 2, 3, 4, 5], [1, 2, 3, 4, 5], [1, 2, 3, 4, 5]]
print(lst[0][0]) # [1, 2, 3, 4, 5]
print(lst[0][0][2]) # 3

PS 了解索引

更新程序

最后更新和最后回复。如果文件包含需要组装成多维数组的数组，可以这样做：

global_lst = []

file = open('filename.txt', 'r')
lines = file.readlines()

for line in lines:
    lst = eval(line) # берём строчку и преобразуем её в массив
    global_lst.append(lst) # и добавляем этот массив в глобальный массив

因此，您可以将任何一维数组转换为一维数组（这对每个人和未来都是如此）：

temp_value = global_lst[0]

while type(temp_value) == list:
    global_lst = [item for sublists in global_lst for item in sublists]
    temp_value = global_lst[0]