主页 / 问题 / 1393191
Accepted
Sergey
Asked:2022-08-24 18:40:33 +0000 UTC2022-08-24 18:40:33 +0000 UTC

如何在 URL 中使用西里尔字母？

  • 772

Python中有一个教程问题会随机跳转英文维基百科的页面：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
    global pages
    
    html = urlopen('http://en.wikipedia.org{}'.format(pageUrl))
    bs = BeautifulSoup(html, 'html.parser')
    for link in bs.find_all('a', href=re.compile('^(/wiki/)')):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href']
                print(newPage)
                pages.add(newPage)
                getLinks(newPage)
getLinks('')

一切都很好。但是，如果我尝试使用俄语 wiki 作为基本 URL：

html = urlopen('http://ru.wikipedia.org/wiki/Заглавная_страница{}'.format(pageUrl))

然后抛出错误消息：UnicodeEncodeError：

“ascii”编解码器无法编码字符

分支

如何将 url 编码解码为西里尔字母？

我读。还有一个问题：

  1. 转换 URL -> cp1251
  2. 我正好相反：utf8 -> URL
python

2 个回答

  1. Best Answer

    最好以时尚现代的方式请求页面requests，他会自己弄清楚编码，BS如果你给他页面，他也会弄清楚content，然后以“人类”形式打印 -URL你可以通过unquote：

    import requests
from urllib.parse import unquote
...
html = requests.get('http://ru.wikipedia.org/wiki/Заглавная_страница{}'.format(pageUrl)).content
...
print(unquote(newPage))

    其余代码没有改变。

    样本输出：

    /wiki/Википедия:Патрулирование
/wiki/Файл:Wiki_letter_w_dashed.svg
/wiki/Служебная:Поиск/Заглавная_страница/wiki/Файл:Wiki_letter_w_dashed.svg
/wiki/Служебная:Поиск/Заглавная_страница/wiki/Служебная:Поиск/Заглавная_страница/wiki/Файл:Wiki_letter_w_dashed.svg
/wiki/Служебная:Поиск/Заглавная_страница/wiki/Служебная:Поиск/Заглавная_страница/wiki/Служебная:Поиск/Заглавная_страница/wiki/Файл:Wiki_letter_w_dashed.svg
/wiki/Заглавная_страница
/wiki/Служебная:Поиск/Заглавная_страница/wiki/Заглавная_страница
...
    • 4

  2. 使用引号替换西里尔字母

    然后url会有这样的一行：

    http://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0

    例子：

    from urllib.parse import quote
from urllib.request import urlopen


uri = 'Заглавная_страница'
pageUrl = ''
url = 'http://ru.wikipedia.org/wiki/{}{}'.format(quote(uri, 'utf-8'), pageUrl)
print(url)

html = urlopen(url)
print(html)
    • 4

相关问题