主页 / 问题 / 1285256
Accepted
User12351259599491
Asked:2022-05-23 21:25:34 +0800 CST2022-05-23 21:25:34 +0800 CST

反序列化大文件

  • 772

例如，我有一个包含对象的大文件。
我需要检查是否有任何对象包含城市名称。

using (FileStream fs = new FileStream("city.list.json", FileMode.Open))
{
    var citys = await JsonSerializer.DeserializeAsync<List<City>>(fs);

    var result = citys.Where(x => x.name == city).FirstOrDefault();

    if (result != null)
    {
        return true;
    }
    else
    { 
        return false;
    }
}

例如，如何上传 1000 个对象，如果没有找到，则下载接下来的 1000 个对象？
或者我可以以某种方式设置内存限制，例如 10 MB？

c#

1 个回答

  1. Best Answer

    我对 System.Text.Json* 的猛攻没有成功，所以这里有一个在 Newtonsoft.Json 上为您提供的解决方案。

    主要技巧是：一方面，您不能通读JsonConvertor JsonSerializer.Deserialize，因为这会将整个文件读入内存。另一方面，通过读取一个令牌JsonTextReader也是不情愿的，因为您必须对每条记录进行太多详细的解析，并且几乎要手动进行反序列化。

    所以我选择了一个综合解决方案。JsonSerializer可以从'a中读取部分数据JsonTextReader，这意味着它可以被要求从列表中只读取一个城市。因此，可以组织一个懒惰的城市序列。

    诚然，我们将不得不通过令牌读取数组的开头和结尾，但这是为节省内存付出的小代价。

    我们的令牌将如下所示：

    начало массива ([)
начало объекта ({)
- тут сам объект City
конец объекта (})
начало объекта ({)
- тут ещё один объект City
конец объекта (})
начало объекта ({)
- и так далее
конец объекта (})
конец массива (])

    于是，得到如下代码：

    IEnumerable<City> ReadCitiesLazy(string path)
{
    var serializer = new JsonSerializer();
    using var tr = File.OpenText(path); // открываем файл
    using var jr = new JsonTextReader(tr); // натравливаем на него токенизатор
    jr.Read(); // жёстко проверяем формат: убеждаемся, что у нас тут идёт начало массива
    if (jr.TokenType != JsonToken.StartArray)
        throw new FormatException("Array start expected");
    jr.Read(); // переходим к следующему токену
    while (jr.TokenType == JsonToken.StartObject) // это или начало объекта
    {                                             // если так, читаем объект одним махом
        yield return serializer.Deserialize<City>(jr);
        if (jr.TokenType != JsonToken.EndObject)  // тут должен быть конец объекта
            throw new FormatException("Object end expected");
        jr.Read();                                // переходим к следующему токену в цикле
    }
    if (jr.TokenType != JsonToken.EndArray)       // не начало объекта => конец массива
        throw new FormatException("Array end expected");
}

    您可以使用的一切：

    foreach (var city in ReadCitiesLazy(path))
    Console.WriteLine(city.Name);

    *此示例显示如何“手动”从文件中读取，交错读取Utf8JsonReader并重新创建此文件Utf8JsonReader，但我无法自动执行此操作以读取任意对象。但是，有一个 github ticket谈到了这一点。Utf8JsonReader并且可以像在@Alexander Petrov 的远程答案中那样读取对象： var city = JsonSerializer.Deserialize<City>(ref reader);.

    • 9

相关问题