我正在写一个解析器。视图构造不起作用。行中的链接是 100% 正确的。如果我删除循环并直接使用所需的链接运行 get ,则一切正常。我的代码返回一个空列表。出于某种原因,它开始处理我需要的网站的一些左侧页面,尽管链接是 100% 正确的。
谷歌搜索只提供了关于毫无意义的延迟的信息,这似乎是必要的,但这不适合我的情况,page = requests.get(line) - 做某种游戏,BeautifulSoup 给了我一些其他页面而不是我需要(似乎是主要的,但我不确定)。
我尝试将 .content 更改为 .text - 它根本不会影响任何内容,并且通过搜索在文档中没有找到有关这些方法的任何内容。
with open("collection_urls.txt", encoding = 'utf-8') as file:
for line in file:
page = requests.get(line)
#page = requests.get("здесь моя ссылка, которая на 100% идентична ссылки в line")
urls = BeautifulSoup(page.content, "html.parser")
collections_urls = urls.findAll("a", class_='product-name ps')
print(collections_urls)