RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 1522696
Accepted
shezyy
shezyy
Asked:2023-05-29 04:12:05 +0000 UTC2023-05-29 04:12:05 +0000 UTC 2023-05-29 04:12:05 +0000 UTC

在不使用 Selenium 的情况下使用动态类型进行 Web 抓取

  • 772

我实际上进入了某种死胡同,或者我没有看到最后的一切。当然,我更倾向于前者。

import requests


url = 'https://store.steampowered.com/specials'
s = requests.Session()
s.cookies.set('Steam_Language', 'russian', domain='store.steampowered.com')
r = s.get(url)
src = r.text

with open("index.html", "w", encoding="utf-8") as file:
    file.write(src)

我真的不明白这里代码的意义,但是哦,好吧。结果是我得到一个空数组后,我决定将所有内容写入 html 文件。我查看了 html 文件,意识到页面上除了标题之外的所有内容都是从服务器加载的。但我找不到确切的位置。请帮帮我!

需要这个街区的游戏:

需要这个街区的游戏

python
  • 1 1 个回答
  • 41 Views

1 个回答

  • Voted
  1. Best Answer
    shezyy
    2023-05-30T08:32:29Z2023-05-30T08:32:29Z

    事实证明,它在短短 6 分钟内收集了所有必要的数据,其中 10,000 条。可以在主贴的评论里查查,毕竟我用的是Steam web-api。简而言之,我进行了一个查询,返回了所有现有游戏的列表。

    https://api.steampowered.com/ISteamApps/GetAppList/v2/
    

    然后我发现这个请求可以接受多少个标识符

    https://store.steampowered.com/api/appdetails?appids=&cc=ru&filters=price_overview
    

    并根据这个要求,我创建了一个循环,一次检查一千个游戏(标识符的最大数量)并将折扣游戏的标识符写入列表。因此,我们得到了一个工作代码,可以在 6 分钟内检查来自 Steam 的所有 150,000 多款游戏。

    • 0

相关问题

  • 是否可以以某种方式自定义 QTabWidget?

  • telebot.anihelper.ApiException 错误

  • Python。检查一个数字是否是 3 的幂。输出 无

  • 解析多个响应

  • 交换两个数组的元素,以便它们的新内容也反转

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    我看不懂措辞

    • 1 个回答
  • Marko Smith

    请求的模块“del”不提供名为“default”的导出

    • 3 个回答
  • Marko Smith

    "!+tab" 在 HTML 的 vs 代码中不起作用

    • 5 个回答
  • Marko Smith

    我正在尝试解决“猜词”的问题。Python

    • 2 个回答
  • Marko Smith

    可以使用哪些命令将当前指针移动到指定的提交而不更改工作目录中的文件?

    • 1 个回答
  • Marko Smith

    Python解析野莓

    • 1 个回答
  • Marko Smith

    问题:“警告:检查最新版本的 pip 时出错。”

    • 2 个回答
  • Marko Smith

    帮助编写一个用值填充变量的循环。解决这个问题

    • 2 个回答
  • Marko Smith

    尽管依赖数组为空,但在渲染上调用了 2 次 useEffect

    • 2 个回答
  • Marko Smith

    数据不通过 Telegram.WebApp.sendData 发送

    • 1 个回答
  • Martin Hope
    Alexandr_TT 2020年新年大赛! 2020-12-20 18:20:21 +0000 UTC
  • Martin Hope
    Alexandr_TT 圣诞树动画 2020-12-23 00:38:08 +0000 UTC
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5