问题[requests]

你好。我有一个问题，在这种情况下如何点击“我不是机器人”复选框？每个请求的键值都不同。我是否需要以某种方式解析并发送连接请求或如何？您需要通过单击复选框进行登录。

import requests
from bs4 import BeautifulSoup as Bs


def gold_buy():
    session = requests.Session()
    arena = session.get('https://mrush.mobi')
    text = Bs(arena.content, 'html.parser')
    fresh = text.find("input", type='checkbox')
    d=(fresh['name'])
    print(d)
    s = session.post('https://mrush.mobi/login',{'name': 'name', 'password': 'pass', d : ''})
    print (s)

    g = session.get("https://mrush.mobi/christmasCollection?r=815")
    soup = Bs(g.text, 'html.parser') 
    quest_status = soup.find_all('div', class_='wr8')
    for status in quest_status:
       print(status)



    
def main():
    gold_buy()
   

if __name__ == '__main__':
    main()

蟒蛇脚本

import requests





file = open('1.txt').read().split('\n')


url = 'https://****.ru/site/loginPopup'
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)     Chrome/90.0.4430.212 Safari/537.36'}

session = requests.Session()
session.headers.update(headers)




for account in file:
    session = requests.Session()
    session.headers.update(headers)
    r = session.get(url)


proxies = {
'http':'195.208.90.112:****:BPM8dHtL:rMYkPkh1',
'https':'195.208.90.112:****:BPM8dHtL:rMYkPkh1',
'http':'195.19.169.56:****:BPM8dHtL:rMYkPkh1',
'https':'195.19.169.56:****:BPM8dHtL:rMYkPkh1',
'http':'195.19.195.7:****:BPM8dHtL:rMYkPkh1',
'https':'195.19.195.7:****:BPM8dHtL:rMYkPkh1',
'http':'195.208.117.187:****:BPM8dHtL:rMYkPkh1',
'https':'195.208.117.187:****:BPM8dHtL:rMYkPkh1',
'http':'195.208.117.101:****:BPM8dHtL:rMYkPkh1',
'https':'195.208.117.101:****:BPM8dHtL:rMYkPkh1',
}

try:

    phone = account.split(":")[0]
    password = account.split(":")[1]

    payload = {
    'login_type': '1',
    'login':phone,
    'password':password,
    'type': 'authorization',
    'fcm_token': "",
    }

    r = session.post(url, data = payload, proxies = proxies, headers = headers)

问题的本质是它在没有代理的情况下检查良好，但在我的 IP 进入欺诈之前。我设置了一个代理，因此来自站点的响应与没有代理的响应相同，我得出结论，代理在此脚本中不起作用，代理本身正在工作，我可以使用它们访问站点。

蟒蛇脚本

import requests
from bs4 import BeautifulSoup



file = open('1.txt').read().split('\n')


url = 'https://****.ru/auth/login'
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)     Chrome/90.0.4430.212 Safari/537.36'}

session = requests.Session()
session.headers.update(headers)



url_auth = 'https://****.ru/auth/login'

for account in file:
    session = requests.Session()
    session.headers.update(headers)
    r = session.get(url)
    soup = BeautifulSoup(r.content, 'html.parser')

    csrf = soup.find('meta', {'name': 'csrf-token'})['content']

    phone = account.split(":")[0]
    password = account.split(":")[1]


    u = phone
    p = password




    payload = {
        '_csrf': csrf,
        'LoginForm[login]': phone,
        'LoginForm[password]': password,
        }

    r = session.post(url_auth, data=payload,)

该脚本有效，但在 100-300 行后出现错误

第 25 行，在 csrf = soup.find('meta', {'name': 'csrf-token'})['content'] TypeError: 'NoneType' object is not subscriptable

是否可以让脚本不注意到这个错误并在它之后继续工作？

我正在写一个解析器。视图构造不起作用。行中的链接是 100% 正确的。如果我删除循环并直接使用所需的链接运行 get ，则一切正常。我的代码返回一个空列表。出于某种原因，它开始处理我需要的网站的一些左侧页面，尽管链接是 100% 正确的。

谷歌搜索只提供了关于毫无意义的延迟的信息，这似乎是必要的，但这不适合我的情况，page = requests.get(line) - 做某种游戏，BeautifulSoup 给了我一些其他页面而不是我需要（似乎是主要的，但我不确定）。

我尝试将 .content 更改为 .text - 它根本不会影响任何内容，并且通过搜索在文档中没有找到有关这些方法的任何内容。

    with open("collection_urls.txt", encoding = 'utf-8') as file:
    for line in file:
        page = requests.get(line)
        #page = requests.get("здесь моя ссылка, которая на 100% идентична ссылки в line")
        urls = BeautifulSoup(page.content, "html.parser")
        collections_urls = urls.findAll("a", class_='product-name ps')
        print(collections_urls)

我有一个网址：https ://www.deutschland.de/ru/news/berbok-nazvala-klimaticheskiy-krizis-samoy-bolshoy-problemoy-s-tochki-zreniya-bezopasnosti

我想从这个页面中提取与新闻相关的整个俄语文本，或者更确切地说是标题（伯博克称为气候）、声明（在彼得斯堡气候......）和描述（外交部长......） ，如何使用请求方便地做到这一点？

我得到了它，但我不确定它是否是最好的选择：

j=[]
code1=requests.get(url='https://www.deutschland.de/ru/news/berbok-nazvala-klimaticheskiy-krizis-samoy-bolshoy-problemoy-s-tochki-zreniya-bezopasnosti').text
code2=code1
code1=code1.split()
for i in range (len(code1)):
    if '<p>' in code1[i]:
        while True:
            if '</p>' in code1[i]:
                break
            j.append(code1[i])
            i+=1
print(code2)
print(j)