RError.com

RError.com Logo RError.com Logo

RError.com Navigation

  • 主页

Mobile menu

Close
  • 主页
  • 系统&网络
    • 热门问题
    • 最新问题
    • 标签
  • Ubuntu
    • 热门问题
    • 最新问题
    • 标签
  • 帮助
主页 / 问题 / 924219
Accepted
climivin
climivin
Asked:2020-12-23 01:23:55 +0000 UTC2020-12-23 01:23:55 +0000 UTC 2020-12-23 01:23:55 +0000 UTC

如何解析具有授权的网站?

  • 772

使用 Anglesharp 的解析器。

如何解析具有授权的网站?
我正在尝试编写解析器。
如果我正确理解了理论,那么逻辑应该如下:
- 授权;
- 获取饼干;
页面导航
- 发送 cookie;
- 转到第 1 页;
- 发送 cookie;
- 转到第 2 页;

授权书

<form name="login" class="ui large form" action="/login/" method="POST">
    <div class="required field ui grid aligned left"><input name="login[login]" value="" type="text" placeholder="Электронная почта" maxlength="64" autocomplete="off"></div>
    <div class="required field ui grid aligned left">
        <input name="login[password]" value="" type="password" maxlength="32" autocomplete="off" placeholder="Пароль">
    </div>
    <div class="equal width fields" style="flex-wrap:nowrap;">
        <div class="field" style="text-align: left;">
            <div class="ui checkbox large step">
                <input id="remember" type="checkbox" name="login[remember]" tabindex="0" value="1" class="hidden">
                <label for="remember">Запомнить меня</label>
            </div>
        </div>
        <div class="field" style="text-align: right;">
            <a href="/forgot/">Забыли пароль?</a>
        </div>
    </div>
    <div class="field">
        <button class="fluid positive ui button big">Войти</button>
    </div>
    <input name="login[type]" type="hidden"><input name="login[init]" type="hidden" value="">
</form>

最低代码

public async void Authorization(string pathPageLogin, string userName, string password)
{
    IConfiguration config = Configuration.Default.WithDefaultLoader().WithCookies();
    IBrowsingContext browsingContext = BrowsingContext.New(config);

    browsingContext.OpenAsync(pathPageLogin).Wait();


    (browsingContext.Active.QuerySelector("input[name = 'login[login]']") as IHtmlInputElement).Value = userName;
    (browsingContext.Active.QuerySelector("input[name = 'login[password]']") as IHtmlInputElement).Value = password;
    (browsingContext.Active.QuerySelector("form") as IHtmlFormElement).SubmitAsync().Wait();


}

public async void Parsing(string url, string pathFileHtml)
{
    HttpClient client = new HttpClient();
    var response = await client.GetAsync(url); // скачиваем страницу
    string source = await response.Content.ReadAsStringAsync(); // Переносим в переменную

    #region Сохранить страницу в файл
    File.WriteAllText(pathFileHtml, source);
    #endregion Сохранить страницу в файл

    #region Парсер
    // HTML парсер, который доступен из "AngleSharp".
    var domParser = new HtmlParser();

    // Спарсим асинхронно наш исходный код и получим документ с которым мы можем работать
     var document = await domParser.ParseAsync(source);

    // *** Парсер ****              
    // результат
    var list = new List<string>();

    var items = document.QuerySelectorAll("a").Where(item =>
                item.ClassName != null && item.ClassName.Contains("post__title_link"));

    foreach (var item in items)
    {
        list.Add(item.TextContent);
    }
    #endregion

}

问题。
1.我理解的逻辑正确吗?
2. 如何用最少的一组简单站点的基本方法来编写代码,以便看到逻辑原理?

加法
例如使用:rabota.by/login/

附加
登录 - test9631@yandex.by
密码 - Ym3LDp1FPs

添加

c#
  • 1 1 个回答
  • 10 Views

1 个回答

  • Voted
  1. Best Answer
    EvgeniyZ
    2020-12-23T05:18:21Z2020-12-23T05:18:21Z

    我们分析。

    第一步是分析网站并了解其运作方式。我个人会使用Fiddler来捕获请求,你可以在适合你的地方做......

    因此,我们进入授权页面,打开请求捕获,登录并查看请求。
    他们通常看起来很突出,然后转到查看页面/login或类似的东西。

    在网站上授权后,我收到了以下请求: 结果

    让我们看一下查询本身:

    POST /login/ HTTP/1.1
    Host: rabota.by
    Connection: keep-alive
    Content-Length: 186
    Cache-Control: max-age=0
    Origin: https://rabota.by
    Upgrade-Insecure-Requests: 1
    DNT: 1
    Content-Type: application/x-www-form-urlencoded
    User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36 Vivaldi/2.2.1388.37
    Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
    Referer: https://rabota.by/
    Accept-Encoding: gzip, deflate, br
    Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
    Cookie: sessionRabota=4t8r5v068lb7g9alo3; _ga=GA1.2.20569718.1545649; _gid=GA1.2.202925.15449; _ym_uid=15595112; _ym_d=154552; _ym_isad=1; _ym_visorc_2318=w; 388c2c03bbed9f4661; captcha=4509285; captcha_md5=59bf907333254603af10; arp_scroll_position=0; *0=*0
    
    • 首先,我们对这里的请求类型感兴趣,我们POST在 address有它/login/。
    • 接下来,我们看一下传输数据的类型Content-Type: application/x-www-form-urlencoded。
    • User-Agent有的也可能派上用场Cookie。

    由于我们有一个带有 Web 表单数据的请求,因此还值得查看它的主体:

    login[login]    user@mail.com
    login[password] pass
    login[remember] 1
    submitButton    Войти
    login[type] cad5afb6ed280bc4041d5689d561144a
    

    这里的一切都很清楚——我们的登录名、密码、记住与否、按钮的名称和登录名中的未知参数。让我们通过再次授权来检查这个未知参数。如果它发生变化,那么值得寻找它是如何形成的,如果没有,那么你可以使用它。就我而言,它是静态的。

    好吧,还值得看看服务器本身的响应,它提供了什么以及它安装了什么:

    Content-Type: text/html; charset=UTF-8
    Set-Cookie: *0=%2A0; expires=Wed, 12-Dec-2018 19:21:31 GMT; Max-Age=-864000; path=/; domain=rabota.by
    Set-Cookie: 666c9aea5601eb92b8=7df1b7318a82be0b068b; expires=Tue, 22-Jan-2019 19:21:32 GMT; Max-Age=2678400; path=/; httponly
    Set-Cookie: d2c3f55839194555558=f33b13af8cfcd2d14c8650; expires=Tue, 22-Jan-2019 19:21:32 GMT; Max-Age=2678400; path=/; httponly
    

    可以看出,作为响应,服务器给了我们通常的 html 并设置了一对 Cookie。暂时看响应体是没有意义的。


    我们正在尝试自己发送请求。

    Postman非常适合这个目的。安装、跳过授权(或不跳过)并创建一个新请求。

    • 选择 POST。
    • 指定请求的地址https://rabota.by/login
    • [正文选项卡] 指定数据类型x-www-form-urlencoded
    • [Body tab] 填写请求的所有字段
    • 我们正在尝试发送请求。
    • 我们查看数据 (HTML)。我们在那里看到仅仅发送数据对我们来说是不够的,该网站没有授权我们。缺了点什么。通常这是一个 UserAgent 标头或一些独特的标头,或 Cookie。
    • 我们正在尝试添加一个 UserAgent - 不适合。
    • 我们尝试获取一个 Cookie - 然后我们看到该网站终于让我们进入(我们看到我们的 HTML 数据)。

    现在让我们清理请求:

    • 我们一次从 Cookie 中删除一个,直到它停止向我们发送必要的数据。我个人发现只需要一个 Cookie - *0=*0.
    • [Body tab] 在这里,根据相同的原则,我们将不需要的所有内容都删除,仅删除 daws。我的观察表明,公正login[login],login[password]并且足够login[type]。
    • [标题选项卡] 我们还删除了不必要的标题。授权受Content-Type和影响Referer。

    邮差

    • 23

相关问题

Sidebar

Stats

  • 问题 10021
  • Answers 30001
  • 最佳答案 8000
  • 用户 6900
  • 常问
  • 回答
  • Marko Smith

    是否可以在 C++ 中继承类 <---> 结构?

    • 2 个回答
  • Marko Smith

    这种神经网络架构适合文本分类吗?

    • 1 个回答
  • Marko Smith

    为什么分配的工作方式不同?

    • 3 个回答
  • Marko Smith

    控制台中的光标坐标

    • 1 个回答
  • Marko Smith

    如何在 C++ 中删除类的实例?

    • 4 个回答
  • Marko Smith

    点是否属于线段的问题

    • 2 个回答
  • Marko Smith

    json结构错误

    • 1 个回答
  • Marko Smith

    ServiceWorker 中的“获取”事件

    • 1 个回答
  • Marko Smith

    c ++控制台应用程序exe文件[重复]

    • 1 个回答
  • Marko Smith

    按多列从sql表中选择

    • 1 个回答
  • Martin Hope
    Alexandr_TT 圣诞树动画 2020-12-23 00:38:08 +0000 UTC
  • Martin Hope
    Suvitruf - Andrei Apanasik 什么是空? 2020-08-21 01:48:09 +0000 UTC
  • Martin Hope
    Air 究竟是什么标识了网站访问者? 2020-11-03 15:49:20 +0000 UTC
  • Martin Hope
    Qwertiy 号码显示 9223372036854775807 2020-07-11 18:16:49 +0000 UTC
  • Martin Hope
    user216109 如何为黑客设下陷阱,或充分击退攻击? 2020-05-10 02:22:52 +0000 UTC
  • Martin Hope
    Qwertiy 并变成3个无穷大 2020-11-06 07:15:57 +0000 UTC
  • Martin Hope
    koks_rs 什么是样板代码? 2020-10-27 15:43:19 +0000 UTC
  • Martin Hope
    Sirop4ik 向 git 提交发布的正确方法是什么? 2020-10-05 00:02:00 +0000 UTC
  • Martin Hope
    faoxis 为什么在这么多示例中函数都称为 foo? 2020-08-15 04:42:49 +0000 UTC
  • Martin Hope
    Pavel Mayorov 如何从事件或回调函数中返回值?或者至少等他们完成。 2020-08-11 16:49:28 +0000 UTC

热门标签

javascript python java php c# c++ html android jquery mysql

Explore

  • 主页
  • 问题
    • 热门问题
    • 最新问题
  • 标签
  • 帮助

Footer

RError.com

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

帮助

© 2023 RError.com All Rights Reserve   沪ICP备12040472号-5