我做了一个解析器，但它会下载未加载的图片。显示此类元素的列表 /themes/ptk/assets/images/ptk-preload.png。我需要其中之一：“ https://ptk-svarka.ru/storage/app/uploads/public/5bd/064/59a/thumb_86_305_305_0_0_crop.jpg ”
这是代码：
import requests
from bs4 import BeautifulSoup
import csv
import os
URL = 'https://ptk-svarka.ru/catalog/apparaty-poluavtomaticheskoy-svarki-mig'
HEADERS = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', 'accept': '*/*'}
FILE = 'svarka.csv'
def get_html(url, params=None):
r = requests.get(url, headers=HEADERS, params=params)
return r
def get_image(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='b-grid__item js-product-item')
image = []
for item in items:
image.append(
item.find('img', class_='lozad').get('src'),
)
return image
def parse():
URL = input('Введите URL: ')
URL = URL.strip()
html = get_html(URL)
if html.status_code == 200:
img = get_image(html.content)
print(img)
else:
print('Error')
parse()
列表中的图像都是相同的，并且引用相同的文件。图像加载是使用 javascript 完成的。
查看特定产品，该属性
data-src包含指向图像的链接。使用它代替src：