RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 600795
Accepted
NoEscape0
NoEscape0
Asked:2020-12-08 00:49:39 +0000 UTC2020-12-08 00:49:39 +0000 UTC 2020-12-08 00:49:39 +0000 UTC

使用实体框架将大量数据保存到数据库

  • 772

该程序通过 VK API(平均 20-50 个线程)解析用户并在数据库中创建条目。每个用户平均有20个群组,500张照片,200个好友。我在不同的表中保存朋友、群组、用户和照片的记录。总的来说,为了保存第一个用户,我向数据库发出了大约 721 个插入请求。这是每分钟 200-300 个用户 - ~ 216,000 个对数据库的插入请求。因此,通话context.SaveChanges()大约需要 6-10 分钟才能完成。

我尝试使用上下文池 - bulk insert,平均时间为 4-6 分钟。

AutoDetectChangesEnabled = false;或context.AddRange()给出大致相同的结果。

我想到的唯一快速解决方案是对用户数据进行二进制序列化并将其存储在 中byte[],这样每个用户就有 4 个插入请求。这将调用时间减少context.SaveChanges()到 1.2 秒。但随之而来的是一个自然的问题 - 为了至少为用户改变一些东西,有必要反序列化和序列化他的所有数据。

告诉我,在不使用序列化的情况下保存适用于这种情况的大量数据的方法是什么?

c#
  • 1 1 个回答
  • 10 Views

1 个回答

  • Voted
  1. Best Answer
    iluxa1810
    2020-12-08T02:33:06Z2020-12-08T02:33:06Z
    1. 无需在每次打喷嚏时调用 context.SaveChanges()。

      在 1 个 context.SaveChanges() 中插入 1000 条记录 比在每个记录上调用 context.SaveChanges()更快。

    2. 如果您有一些复杂的逻辑,那么最好将此逻辑移动到存储过程中。

    3. 如果数据库和应用程序在不同的机器上,那么检查网络速度可能是值得的。

    4. 大量的索引会减慢堆栈的速度。

    5. 插入时完全拒绝EF,通过BulkCopy引导这个业务。

      比如你把所有的东西批量填到服务器上的某个表中,然后JOB每5分钟查询一次这个表,并添加工作表的信息。

    6. 尽管如此,查看 EF 形成的请求也无妨。

      也许它们不是最优的,您应该尝试使用 LINQ。

    我建议您通过 BulkCopy(最快的多次插入方式)测量数据库的填充情况,然后您将获得您应该流式传输到的值以及您不会使用 EF 跳转的值。

    • 7

相关问题

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    如何停止编写糟糕的代码?

    • 3 个回答
  • Marko Smith

    onCreateView 方法重构

    • 1 个回答
  • Marko Smith

    通用还是非通用

    • 2 个回答
  • Marko Smith

    如何访问 jQuery 中的列

    • 1 个回答
  • Marko Smith

    *.tga 文件的组重命名(3620 个)

    • 1 个回答
  • Marko Smith

    内存分配列表C#

    • 1 个回答
  • Marko Smith

    常规赛适度贪婪

    • 1 个回答
  • Marko Smith

    如何制作自己的自动完成/自动更正?

    • 1 个回答
  • Marko Smith

    选择斐波那契数列

    • 2 个回答
  • Marko Smith

    所有 API 版本中的通用权限代码

    • 2 个回答
  • Martin Hope
    jfs *(星号)和 ** 双星号在 Python 中是什么意思? 2020-11-23 05:07:40 +0000 UTC
  • Martin Hope
    hwak 哪个孩子调用了父母的静态方法?还是不可能完成的任务? 2020-11-18 16:30:55 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    user207618 Codegolf——组合选择算法的实现 2020-10-23 18:46:29 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    Arch ArrayList 与 LinkedList 的区别? 2020-09-20 02:42:49 +0000 UTC
  • Martin Hope
    iluxa1810 哪个更正确使用:if () 或 try-catch? 2020-08-23 18:56:13 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5