主页 / 问题 / 1064080
Accepted
Raharasomaha
Asked:2020-12-28 22:24:52 +0000 UTC2020-12-28 22:24:52 +0000 UTC

在 python 中解析带有 SPA 的站点的最佳方法是什么？

  • 772

有这样一个 网站，我想用这个链接解析这个播放器的数据

我为此编写了这段代码：

import requests
from bs4 import BeautifulSoup


def get_html():
    r = requests.get(url='https://www.atptour.com/en/players/felix-auger-aliassime/ag37/overview')
    return r.text
html = get_html()

def get_career(html):
    soup = BeautifulSoup(html, 'lxml')
    career = soup.find('tr')
    print(career)


get_career(html)

但事情是这样的，我正在解析的链接是一个单页应用程序，因此，我需要的数据在此处输入图像描述 没有出现在页面的完整 html 代码中。

使用 SPA 抓取网站的最佳方法是什么？

python

1 个回答

  1. Best Answer

    from selenium import webdriver

chromedriver = 'C:\\Program Files (x86)\\chromedrv\\chromedriver.exe'   # путь к драйверу может быть любым
opts = webdriver.ChromeOptions()
opts.add_argument('headless')
browser = webdriver.Chrome(options=opts, executable_path=chromedriver)
# browser.implicitly_wait(20)
browser.get('https://www.atptour.com/en/players/felix-auger-aliassime/ag37/player-stats')
mtlist = browser.find_elements_by_class_name('mega-table')
for mt in  mtlist:
    print(mt.text + '\n')

    使用 Selenium 库和 Chrome 浏览器的解析选项。

    • 2

相关问题