RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 1367493
Accepted
Первушин Евгений
Первушин Евгений
Asked:2022-05-31 14:32:01 +0000 UTC2022-05-31 14:32:01 +0000 UTC 2022-05-31 14:32:01 +0000 UTC

Python解析不是css

  • 772

我需要从他们的 URL 解析产品类别和产品。网站上没有保安。问题实际上是我无法以结构化的方式解析数据,因为一切都被称为相同的。这只是代码页的一部分...有一种怀疑是您不需要通过css解析...

<li><a href="/shop/532/Smartphones-Tablets">Smartphones l Tablets</a><span><i class="fa fa-caret-right"></i></span>
                    <ul class="set_bg1">
                      <li class="col1"><a href="ссылка" class="subject">Smartphones</a></li>
                      <li class="col1"><a href=ссылка">Samsung</a></li>
                      <li class="col1"><a href="ссылка">Vivo</a></li>
                      <li class="col1"><a href="ссылка">Realme</a></li>
                      <li class="col1"><a href="ссылка">Oppo</a></li>
                      <li class="col1"><a href="ссылка">Xiaomi</a></li>
                      <li class="col1"><a href="ссылка">Wiko</a></li>
                      <li class="col1"><a href="ссылка">Infinix</a></li>
                      <li class="col1"><a href="ссылка">Tecno</a></li>
                      <li class="col1"><a href="ссылка">Huawei</a></li>
                      <li class="col1"><a href="ссылка">Nokia</a></li>
                      <li class="col1"><a href="ссылка">Lava</a></li>
                      <li class="col2" style="margin-top: -20.6em;"><a href="ссылка" class="subject">Tablets</a></li>
                      <li class="col2"><a href="ссылка">Huawei</a></li>
                      <!--<li class="col2"><a href="ссылка">Acer</a></li>
                      <li class="col2"><a href="ссылка">Asus</a></li>-->
                      <li class="col2"><a href="ссылка">Lenovo</a></li>
                      <li class="col2"><a href="ссылка">Samsung</a></li>
                      <li class="col3" style="margin-top: -6.8em;"><a href="ссылка" class="subject">Accessories</a></li>
                      <li class="col3"><a href="ссылка">Power banks</a></li>
                      <li class="col3"><a href="ссылка">Adapters/Data Cables</a></li>
                      <li class="col3"><a href="ссылка">Micro SD Card</a></li>
                      <li class="col3"><a href="ссылка">USB On The Go (OTG)</a></li>
                      <li class="col3"><a href="ссылка">Others</a></li>
                      <li class="imgback" style="margin-top: -10.2em;"><img src="ссылка" border="0"/></li>
                    </ul>
                  </li>
                  <!--------- 2. computer------------------------------------------------>
                  <li><a href="ссылка">Computers | Notebooks</a><span><i class="fa fa-caret-right"></i></span>
                    <ul class="set_bg1" style="margin-top: -32.7px;">
                      <li class="col1"><a href="ссылка" class="subject">Notebooks</a></li>
                      <li class="col1"><a href="ссылка">Acer </a></li>
                      <li class="col1"><a href="ссылка">Asus</a></li>
                      <li class="col1"><a href=ссылка">Dell</a></li>
                      <li class="col1"><a href="ссылка">HP</a></li>
                      <li class="col1"><a href="ссылка">Lenovo </a></li>
                      <li class="col1"><a href="ссылка">MSI</a></li>
                      <li class="col1"><a href="ссылка">Notebook Case</a></li>
                      <li class="col1"><a href="ссылка" class="subject">Printers</a></li>
                      <li class="col1"><a href="ссылка" class="subject">Toners</a></li>
                      <li class="col1"><a href="ссылка" class="subject">Scanners</a></li>
                      <li class="col1"><a href="ссылка" class="subject">Projector</a></li>
                      <li class="col1"><a href="ссылка"  class="subject">Peripheral/Data Cable</a></li>
                      <li class="col1"><a href="ссылка"  class="subject">Power Supplies/Changers</a></li>
                      <li class="col2" style="margin-top: -23.8em;"><a href="ссылка" class="subject">PC/Cases</a></li>
                      <li class="col2"><a href="ссылка">Acer</a></li>
                      <li class="col2"><a href="ссылка">Asus</a></li>
                      <li class="col2"><a href="ссылка">Dell</a></li>
                      <li class="col2"><a href="ссылка">HP</a></li>
                      <li class="col2"><a href="ссылка">Lenovo</a></li>
                      <li class="col2"><a href="ссылка" class="subject">All-in-one</a></li>
                      <li class="col2"><a href="ссылка">Acer</a></li>
                      <li class="col2"><a href="ссылка">Asus</a></li>
                      <li class="col2"><a href="ссылка">Dell</a></li>
                      <li class="col2"><a href="ссылка">HP</a></li>
                      <li class="col2"><a href="ссылка">Lenovo</a></li>
                      <li class="col2"><a href="ссылка" class="subject">Mini Pc / Stick Pc</a></li>
                      <li class="col2"><a href="ссылка">Asus</a></li>
                      <li class="col2"><a href="ссылка">Intel</a></li>
                      <li class="col3" style="margin-top: -25.5em;"><a href="ссылка" class="subject">Monitors</a></li>
                      <li class="col3"><a href="ссылка">Acer</a></li>
                      <li class="col3"><a href="ссылка">AOC</a></li>
                      <li class="col3"><a href="ссылка">Asus</a></li>
                      <li class="col3"><a href="ссылка">BenQ</a></li>
                      <li class="col3"><a href="ссылка">Dell</a></li>
                      <li class="col3"><a href="ссылка">HP</a></li>
                      <li class="col3"><a href=ссылка">Lenovo</a></li>
                      <li class="col3"><a href="ссылка">LG</a></li>
                      <li class="col3"><a href="ссылка">Philips</a></li>
                      <li class="col3"><a href="ссылка">Samsung</a></li>
                      <li class="col3"><a href="ссылка">MSI</a></li>
                      <li class="imgback" style="margin-top: -18.7em;"><img src="ссылка" border="0"/></li>
                    </ul>
                  </li>

https://www.tohome.com/index.aspx页面链接

python
  • 1 1 个回答
  • 10 Views

1 个回答

  • Voted
  1. Best Answer
    Namerek
    2022-05-31T14:58:59Z2022-05-31T14:58:59Z

    为了确保下面编写的所有内容都可以在完整版本的数据上正常工作,您至少需要一个指向资源的链接,但是在提供的代码片段上,下面的代码执行任务

    import json
    from itertools import takewhile
    from typing import Dict, List
    
    from bs4 import BeautifulSoup as Soup
    from bs4.element import Tag, PageElement
    
    soup = Soup(open('data.html', encoding='utf-8'), 'html.parser')
    
    
    def parse_section(elem: Tag):
        for a in takewhile(
                lambda x: x.get('class') != ['subject'],
                elem.find_all_next('a')
        ):
            yield a.get_text(strip=True)
    
    
    result: Dict[str, Dict[str, list]] = dict()
    
    for item in soup.find_all('i', class_='fa fa-caret-right'):
        section = item.find_next('ul')
        header = item.find_previous('a').string
    
        section_name = header.get_text(strip=True)
    
        result.setdefault(section_name, dict())
    
        for sub in section.find_all('a', class_='subject'):
            subsection_name = sub.get_text(strip=True)
            for i in parse_section(sub):
                result[section_name][subsection_name] = result[section_name].setdefault(subsection_name, []) + [i]
    
    json.dump(
        result,
        open('result.json', 'w', encoding='utf-8'),
        ensure_ascii=False,
        indent=2
    )
    

    文件内容result.json

    {
      "Smartphones l Tablets": {
        "Smartphones": [
          "Samsung",
          "Vivo",
          "Realme",
          "Oppo",
          "Xiaomi",
          "Wiko",
          "Infinix",
          "Tecno",
          "Huawei",
          "Nokia",
          "Lava"
        ],
        "Tablets": [
          "Huawei",
          "Lenovo",
          "Samsung"
        ],
        "Accessories": [
          "Power banks",
          "Adapters/Data Cables",
          "Micro SD Card",
          "USB On The Go (OTG)",
          "Others",
          "Computers | Notebooks"
        ]
      },
      "Computers | Notebooks": {
        "Notebooks": [
          "Acer",
          "Asus",
          "Dell",
          "HP",
          "Lenovo",
          "MSI",
          "Notebook Case"
        ],
        "PC/Cases": [
          "Acer",
          "Asus",
          "Dell",
          "HP",
          "Lenovo"
        ],
        "All-in-one": [
          "Acer",
          "Asus",
          "Dell",
          "HP",
          "Lenovo"
        ],
        "Mini Pc / Stick Pc": [
          "Asus",
          "Intel"
        ],
        "Monitors": [
          "Acer",
          "AOC",
          "Asus",
          "BenQ",
          "Dell",
          "HP",
          "Lenovo",
          "LG",
          "Philips",
          "Samsung",
          "MSI"
        ]
      }
    }
    
    • 0

相关问题

  • 是否可以以某种方式自定义 QTabWidget?

  • telebot.anihelper.ApiException 错误

  • Python。检查一个数字是否是 3 的幂。输出 无

  • 解析多个响应

  • 交换两个数组的元素,以便它们的新内容也反转

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    表格填充不起作用

    • 2 个回答
  • Marko Smith

    提示 50/50,有两个,其中一个是正确的

    • 1 个回答
  • Marko Smith

    在 PyQt5 中停止进程

    • 1 个回答
  • Marko Smith

    我的脚本不工作

    • 1 个回答
  • Marko Smith

    在文本文件中写入和读取列表

    • 2 个回答
  • Marko Smith

    如何像屏幕截图中那样并排排列这些块?

    • 1 个回答
  • Marko Smith

    确定文本文件中每一行的字符数

    • 2 个回答
  • Marko Smith

    将接口对象传递给 JAVA 构造函数

    • 1 个回答
  • Marko Smith

    正确更新数据库中的数据

    • 1 个回答
  • Marko Smith

    Python解析不是css

    • 1 个回答
  • Martin Hope
    Alexandr_TT 2020年新年大赛! 2020-12-20 18:20:21 +0000 UTC
  • Martin Hope
    Alexandr_TT 圣诞树动画 2020-12-23 00:38:08 +0000 UTC
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5