主页 / 问题 / 1272155
Accepted
Clark Devlin
Asked:2022-04-20 00:04:29 +0000 UTC2022-04-20 00:04:29 +0000 UTC

如何加快汇率解析？

  • 772

有一个程序可以解析欧元和美元。
一切正常，但速度明显缓慢：该功能需要 3 到 5 秒......

from requests import get
from bs4 import BeautifulSoup as bs


def get_wal():
    headers = {
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "Host":"myfin.by:443",
        "Accept-Encoding": "gzip, deflate, sdch, br",
        "Content-Type": "application/x-www-form-urlencoded",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36"
    }

    body = get('https://myfin.by/currency/minsk', headers=headers)
    for_bs = body.text
    soup = bs(for_bs, 'html.parser')

    usd_span = soup.find_all('span', {'class':'bl_usd_ex'})
    usd = usd_span[0].text
    eur_span = soup.find_all('span', {'class': 'bl_eur_ex'})
    eur = eur_span[0].text

    return usd, eur

我怎样才能加快速度？

python

2 个回答

  1. 显然，您运行脚本的服务器非常慢，或者白天站点上的负载更多。我只是通过 Google Colab 尝试过，大部分时间都是从网站加载页面，你无能为力。如果只是突然他们有一个 API 或一个移动版本，但我没有立即找到它。您唯一可以做的就是将解析器更改为lxml，它会更快一点：

    soup = bs(for_bs, 'lxml')

    使用 Colab 中的这个解析器，大约需要 0.8 秒 - 页面加载，另外 0.5 秒 - 解析 BS，总共大约 1.5 秒，但即使使用您指定的解析器，在 Colab 中加载大约需要 1.7 秒。

    • 3
  2. Best Answer

    从CrazyElf 的回答中扩展移动版主题：

    import requests
from bs4 import BeautifulSoup

url = 'https://m.myfin.by/currency/minsk'        # адрес мобильной версии
headers = {'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'}

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, 'html.parser')

usd = soup.find('div', class_='bl_usd_ex').text  # тут котировки в div-ах,
eur = soup.find('div', class_='bl_eur_ex').text  # не span, как в десктопной

print(f'usd: {usd}, eur: {eur}')

    运行时测试：

    $ time python sample_handing.py 
usd: 2.5864, eur: 3.1186

real    0m0,881s
user    0m0,266s
sys     0m0,012s

    使用 lxml 作为解析器的变体：

    soup = BeautifulSoup(r.content, 'lxml')

    将加快处理速度：

    $ time python sample_handing.py
usd: 2.5996, eur: 3.1235

real    0m0,750s
user    0m0,378s
sys     0m0,016s
    • 3

相关问题