主页 / 问题 / 1602109
Accepted
Max Andrekov
Asked:2024-12-10 20:37:07 +0000 UTC2024-12-10 20:37:07 +0000 UTC

Python 中的解析器（按标签选择）

  • 772

再会。我正在尝试（学习）抓取该网站。有数据（有很多这样的带有数据的行，大约28-30个单位）。

    <div class="maxt">
    <temperature-value value="-12" from-unit="c" reactive="">−12</temperature-value>
    </div>

我通过 BeautifulSoup 获取字符串。

maxt = bs.find_all('div', class_= "maxt")

这些线条本身是正确的。

无法从这一行获取值：-12 对于所有内容。

告诉我出了什么问题。

我设法这样做，但也许我可以通过“find...find_all”来做到这一点

temp_list = []
for t in temp:
    temperatyre = t['value']
    if temperatyre != '':
        print(t['value'])
        temp_list.append(temperatyre)

此外，代码可以工作，但选择并不令人满意（它选择了所有温度，但例如只需要 maxt 和 mint）

import requests
from bs4 import BeautifulSoup
 
url = 'https://www.gismeteo.ru/weather-omsk-4578/month/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0",}

response = requests.get(url, headers=headers)

bs = BeautifulSoup(response.text, 'lxml')
temp = bs.find_all('temperature-value')

print('всего строк = ' + str(len(temp)))

temp_list = []

for t in temp:
    temperatyre = t['value']
    if temperatyre != '':
        print(t['value'])
        temp_list.append(temperatyre)
python

2 个回答

  1. 你做了一些有点棘手的事情。您想要查找maxt/ mint，但您正在查找temperature-value所有值。像这样更简单（例如 maxt）：

    import requests
from bs4 import BeautifulSoup
 
url = 'https://www.gismeteo.ru/weather-omsk-4578/month/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0",}

response = requests.get(url, headers=headers)

bs = BeautifulSoup(response.text, 'lxml')
maxt = bs.find_all('div', class_= "maxt")

temp_list = []
for t in maxt:
    temps = t.find('temperature-value')
    temp_list.append(temps["value"])

print(temp_list)

    ['-15'、'-12'、'-9'、'-6'、'-6'、'-5'、'-4'、'-11'、'-7'、'-6' 、“-8”、“-10”、“-12”、“-13”、“-13”、“-13”、“-14”、“-12”、“-13”、“-14” , '-15', '-13', '-14', '-13', '-14', '-12', '-13', '-12']

    • 0
  2. Best Answer

    您是否只需要对一种标签进行采样 - mint 或 maxt？

    没有什么比这更容易的了））

    from bs4 import BeautifulSoup
 
def get_temp_list(bs:BeautifulSoup, min_or_max: str) -> list[str]:
    if not min_or_max in ("mint" , "maxt"):
        raise ValueError(f"unsupported temperature class: {min_or_max}")
    t_list = bs.find_all('div', {'class': min_or_max})

    temp_list = []

    for mt in t_list:
        t = mt.find("temperature-value")
        if t is not None:
            temperatyre = t['value']
            if temperatyre != '':
                temp_list.append(temperatyre)
    return temp_list

    您的数据结果

    url = 'https://www.gismeteo.ru/weather-omsk-4578/month/'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0",}

response = requests.get(url, headers=headers)

parsed = BeautifulSoup(response.text, 'lxml')

mint = get_temp_list(parsed, "mint")
maxt = get_temp_list(parsed, "maxt")

print(",".join(mint))
print(",".join(maxt))

    -22,-23,-10,-10,-9,-10,-9,-18,-14,-14,-12,-12,-12,-12,-13,-12,-14,-15,-16,-16,-18,-18,-18,-17,-17,-15,-15,-17,-17,-17,-15,-14,-14,-16,-15
-15,-12,-9,-6,-6,-4,-5,-12,-9,-9,-7,-9,-10,-11,-11,-11,-13,-14,-15,-15,-17,-16,-16,-16,-14,-13,-14,-15,-15,-14,-13,-12,-13,-14,-13
    • 0

相关问题