主页 / 问题 / 1155894
Accepted
RoyalGoose
Asked:2020-07-22 17:41:51 +0800 CST2020-07-22 17:41:51 +0800 CST

解析html表格

  • 772

我想在一个表中解析这些字段，但我似乎无法在 html 中访问这个表 - 它嵌套得很深。

在此处输入图像描述

from bs4 import BeautifulSoup
import requests

res = requests.get('http://bonds.finam.ru/issue/details0256500001/default.asp')
soup = BeautifulSoup(res.text, 'lxml')
print(soup.find('table'))
python

3 个回答

  1. 通过 selenium 发出请求，通过请求，由于某种原因，表中的最后两行不在 html 中，显然 js 在那里搞砸了

    from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('http://bonds.finam.ru/issue/details0256500001/default.asp')
html = driver.page_source
driver.quit()

soup = BeautifulSoup(html, 'lxml')
div = soup.find('div', class_='datas')
trs = div.find_all('tr')

for tr in trs:
    tds = tr.find_all('td')
    print(tds[1].text.strip())

    结论：

    # ООО "Городской супермаркет"
# Общество с ограниченной ответственностью "Городской супермаркет"
# 7705466989
# http://www.azbukavkusa.ru
# Российская Федерация, 113054, г. Москва, ул. Валовая, д. 8/18
# Российская Федерация, 113054, г. Москва, ул. Валовая, д. 8/18
# (495) 504-3787; 504-3477(факс)
# Торговля
    • 1
  2. Best Answer

    事实是他自己<table></table>是Python空的。
    这就是你可以制作字典的方法，我想你会进一步理解：

    import requests
from bs4 import BeautifulSoup as BS

resp = requests.get('http://bonds.finam.ru/issue/details0256500001/default.asp')
soup = BS(resp.text, 'lxml')
table = soup.find('div', class_='datas').find_all('tr')
result = {}
for tr in table:
    tds = [td.text.replace('\xa0', ' ') for td in tr.find_all('td')]
    result[tds[0]] = tds[1]
    
print(result)
    • 0

  3. 这是一个工作版本，js在那里加载

    from requests_html import HTMLSession

session = HTMLSession()
response = session.get('https://bonds.finam.ru/issue/details0256500001/default.asp')
response.html.render()
get_block = response.html.xpath('//*[@id="content-block"]/div/div[2]/table/tbody/tr/td[1]/div/table/tbody/tr[3]/td[2]/text()')
get_block = [ii.strip() for ii in get_block]
print(get_block)
    • 0

相关问题