主页 / 问题 / 1209291
Accepted
ItsIIIyTh1K
Asked:2021-11-25 01:32:11 +0000 UTC2021-11-25 01:32:11 +0000 UTC

如何解析有分页的网站，当您浏览页面时，浏览器行中的 url 不会改变

  • 772

我正在用 Python 制作网站解析器，但遇到了问题。当我单击按钮转到目录的下一页时，url 不会以任何方式改变。我在 Google 中阅读并意识到这是通过 ajax 请求实现的（希望我没有混淆）。问题是，我怎样才能通过 url 转到网站的其他页面？我发现一篇文章，按照说明，我意识到当您单击按钮转到下一页时，会出现带有字典的 XHR 请求。如果有人能给我一些如何实现它的想法，我将不胜感激。谢谢

python

1 个回答

  1. Best Answer

    不仅可以通过url您在浏览器地址栏中看到的内容加载内容，还可以使用XHR加载内容。要确切了解这是如何发生的，请在浏览器中打开开发人员工具并转到Network. 然后浏览这些页面，查看正在执行哪些请求以及在何处执行。

    让我们看一个从评论到问题（https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29）的例子。

    可以看到页面上的内容是在以下位置接收到的：https://steamcommunity.com/market/listings/730/Glock-18%20%7C%20High%20Beam%20%28Factory%20New%29/render/?query=&start=0&count=10&country=RU&language=russian&currency=1

    在这个URL的查询请求中， 和 参数发生了变化start，count分别表示从哪个元素开始，获取多少个元素

    • 1

相关问题