RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 1285256
Accepted
User12351259599491
User12351259599491
Asked:2022-05-23 21:25:34 +0000 UTC2022-05-23 21:25:34 +0000 UTC 2022-05-23 21:25:34 +0000 UTC

反序列化大文件

  • 772

例如,我有一个包含对象的大文件。
我需要检查是否有任何对象包含城市名称。

using (FileStream fs = new FileStream("city.list.json", FileMode.Open))
{
    var citys = await JsonSerializer.DeserializeAsync<List<City>>(fs);

    var result = citys.Where(x => x.name == city).FirstOrDefault();

    if (result != null)
    {
        return true;
    }
    else
    { 
        return false;
    }
}

例如,如何上传 1000 个对象,如果没有找到,则下载接下来的 1000 个对象?
或者我可以以某种方式设置内存限制,例如 10 MB?

c#
  • 1 1 个回答
  • 10 Views

1 个回答

  • Voted
  1. Best Answer
    VladD
    2022-05-24T07:36:57Z2022-05-24T07:36:57Z

    我对 System.Text.Json* 的猛攻没有成功,所以这里有一个在 Newtonsoft.Json 上为您提供的解决方案。

    主要技巧是:一方面,您不能通读JsonConvertor JsonSerializer.Deserialize,因为这会将整个文件读入内存。另一方面,通过读取一个令牌JsonTextReader也是不情愿的,因为您必须对每条记录进行太多详细的解析,并且几乎要手动进行反序列化。

    所以我选择了一个综合解决方案。JsonSerializer可以从'a中读取部分数据JsonTextReader,这意味着它可以被要求从列表中只读取一个城市。因此,可以组织一个懒惰的城市序列。

    诚然,我们将不得不通过令牌读取数组的开头和结尾,但这是为节省内存付出的小代价。

    我们的令牌将如下所示:

    начало массива ([)
    начало объекта ({)
    - тут сам объект City
    конец объекта (})
    начало объекта ({)
    - тут ещё один объект City
    конец объекта (})
    начало объекта ({)
    - и так далее
    конец объекта (})
    конец массива (])
    

    于是,得到如下代码:

    IEnumerable<City> ReadCitiesLazy(string path)
    {
        var serializer = new JsonSerializer();
        using var tr = File.OpenText(path); // открываем файл
        using var jr = new JsonTextReader(tr); // натравливаем на него токенизатор
        jr.Read(); // жёстко проверяем формат: убеждаемся, что у нас тут идёт начало массива
        if (jr.TokenType != JsonToken.StartArray)
            throw new FormatException("Array start expected");
        jr.Read(); // переходим к следующему токену
        while (jr.TokenType == JsonToken.StartObject) // это или начало объекта
        {                                             // если так, читаем объект одним махом
            yield return serializer.Deserialize<City>(jr);
            if (jr.TokenType != JsonToken.EndObject)  // тут должен быть конец объекта
                throw new FormatException("Object end expected");
            jr.Read();                                // переходим к следующему токену в цикле
        }
        if (jr.TokenType != JsonToken.EndArray)       // не начало объекта => конец массива
            throw new FormatException("Array end expected");
    }
    

    您可以使用的一切:

    foreach (var city in ReadCitiesLazy(path))
        Console.WriteLine(city.Name);
    

    *此示例显示如何“手动”从文件中读取,交错读取Utf8JsonReader并重新创建此文件Utf8JsonReader,但我无法自动执行此操作以读取任意对象。但是,有一个 github ticket谈到了这一点。Utf8JsonReader并且可以像在@Alexander Petrov 的远程答案中那样读取对象: var city = JsonSerializer.Deserialize<City>(ref reader);.

    • 9

相关问题

  • 使用嵌套类导出 xml 文件

  • 分层数据模板 [WPF]

  • 如何在 WPF 中为 ListView 手动创建列?

  • 在 2D 空间中,Collider 2D 挂在玩家身上,它对敌人的重量相同,我需要它这样当它们碰撞时,它们不会飞向不同的方向。统一

  • 如何在 c# 中使用 python 神经网络来创建语音合成?

  • 如何知道类中的方法是否属于接口?

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    表格填充不起作用

    • 2 个回答
  • Marko Smith

    提示 50/50,有两个,其中一个是正确的

    • 1 个回答
  • Marko Smith

    在 PyQt5 中停止进程

    • 1 个回答
  • Marko Smith

    我的脚本不工作

    • 1 个回答
  • Marko Smith

    在文本文件中写入和读取列表

    • 2 个回答
  • Marko Smith

    如何像屏幕截图中那样并排排列这些块?

    • 1 个回答
  • Marko Smith

    确定文本文件中每一行的字符数

    • 2 个回答
  • Marko Smith

    将接口对象传递给 JAVA 构造函数

    • 1 个回答
  • Marko Smith

    正确更新数据库中的数据

    • 1 个回答
  • Marko Smith

    Python解析不是css

    • 1 个回答
  • Martin Hope
    Alexandr_TT 2020年新年大赛! 2020-12-20 18:20:21 +0000 UTC
  • Martin Hope
    Alexandr_TT 圣诞树动画 2020-12-23 00:38:08 +0000 UTC
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5