主页 / 问题 / 566630
Accepted
Алексей
Asked:2020-09-15 22:27:46 +0000 UTC2020-09-15 22:27:46 +0000 UTC

高性能数据处理

  • 772

求助指教。我正在 Spring Boot 上创建一个将处理大量数据的应用程序，而此处理的效率很重要。

例如：

50 个表，每个表都有一些商品/服务的价格。表中的条目从 5000 个开始。每个表都是一个单独的商品和服务供应商。商品和服务的价格每 5-10 分钟更新一次，即 所有 5000 条记录都已更新。有必要快速比较供应商之间的商品/服务价格。选择将对应于每个产品/服务，包括加入，因为 某些产品的组件可能有自己的价格。此外，将在所有供应商之间比较所选产品/服务的价值。

提高性能的逻辑解决方案，我在内存表的使用中看到。其实我想听听有这方面经验的人的建议。实现这个的手段是什么？我应该使用 ORM 和 Hibernate，还是它们只会让所有事务变得更重？Embeded Sprin Boot 底座是否适合，还是使用第三方的更好？

java

2 个回答

  1. Best Answer

    首先，在您的小负载下（每 5-10 分钟更新 5000 条记录），几乎任何数据库都适合。

    我建议不要对 Memory（如果你不知道如何使用它，你会丢失数据而不是获得性能）、ORM 和 Hibernate，甚至更多，所以不要切换到 PostgreSQL 或 NoSQL（这些是针对大量数据的解决方案，建议开始将它们与 100-2 亿条记录或更多记录的表一起使用）。对于您的任务，请使用经典的 MySQL。

    其次，关于性能，请执行以下操作：

    • 请务必根据您的负载配置文件放置索引
    • 不是在单个查询中执行 UPDATE，而是分批执行到您正在使用的 SQL 查询的最大长度（实际上，这大大提高了性能）。
    • 在事务中执行请求。
    • 尝试在更新数据时仅使用 INT 值作为搜索行的键（或者更好，如果该列也是 PRIMARY KEY）。

    PS 对于未来，我建议从 JOIN 转向数据反规范化。当数据库本身不再适合一台服务器时，多表连接查询无法很好地扩展。

    • 1

  2. 如果有条件放弃数据库并加速应用程序，则仅使用文件 - 例如，他们从 xml 中提取数据，比较它，更改它，然后再次将它扔到那里以释放内存。但是随着数据的增长，您将不断地处理它们 - 也就是说，一切都会足够快，但 RAM 会吃掉很多......

    • -2

相关问题