主页 / 问题 / 1590557
Accepted
vortexsf24
Asked:2024-08-14 02:49:39 +0000 UTC2024-08-14 02:49:39 +0000 UTC

如何解析使用js加载的元素？

  • 772

我正在尝试解析此页面上每个广告的第一张照片：https://www.otodom.pl/pl/wyniki/wynajem/mieszkanie/cala-polska ?ownerTypeSingleSelect=ALL&viewType=listing&limit=72

然而，事实证明只解析了少数广告的图像，其余的都是使用js加载的。禁用js

在这种情况下你可以做什么和尝试？至少告诉我什么可以帮助避免使用 Selenium。

python

3 个回答

  1. Best Answer

    最小的、可重现的示例：

    import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:129.0) Gecko/20100101 Firefox/129.0'}
params = {
    'ownerTypeSingleSelect': 'ALL',
    'viewType': 'listing',
    'limit': '72',
    'searchingCriteria': [
        'wynajem',
        'mieszkanie',
        'cala-polska',
    ],
    'page': '1',
}

response = requests.get(
    'https://www.otodom.pl/_next/data/4JKqPCoRE7cVNqIQeP-Pf/pl/wyniki/wynajem/mieszkanie/cala-polska.json',
    params=params,
    headers=headers
)
for item in response.json()['pageProps']['data']['searchAds']['items']:
    print(item['title'])
    #print(item['totalPrice']['value'])
    print(item['images'][0]['medium'])
    • 2
    • 1

  3. 你可以尝试一下beautifulSoup。

    广告新闻网站上的一个人只留下了他感兴趣的新闻链接： https://habr.com/ru/articles/544828/

    • 0

相关问题