c# httpwebrequest 大页面解析优化

为了使一切快速运行，您需要使用优化良好的 .NET 6 而HttpClient不是长期弃用的HttpWebRequest.

我将编写一个基于HtmlAgilityPack. 解析器的意义将是通过引用统计页面上的字数，并在控制台中显示统计结果。

class HttpParser : IDisposable
{
    private readonly HttpClient client;
    private readonly char[] splitChars = new char[] { ' ', '\t', '\r', '\n' };

    public HttpParser(CookieContainer cookies = null, WebProxy proxy = null)
    {
        var handler = new HttpClientHandler
        {
            CookieContainer = cookies ?? new CookieContainer(),
            AutomaticDecompression = DecompressionMethods.All,
            Proxy = proxy
        };
        client = new HttpClient(handler)
        {
            DefaultRequestVersion = HttpVersion.Version20
        };
        client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0"); // пример добавления HTTP заголовка по умолчанию
    }
    public async Task<Dictionary<string, int>> ParseLink(string url, int minLength = 1, int maxLength = 30)
    {
        string html = await client.GetStringAsync(url);
        HtmlDocument doc = new HtmlDocument();
        doc.LoadHtml(html);
        Dictionary<string, int> words = new Dictionary<string, int>();
        // Descendants - полный список нод документа в виде единого списка
        // из них выбираю только текстовые ноды
        // и зачищаю каждую от эскейп-кодов и HTML-Entity, меня вполне устраивает чистый юникод
        foreach (string nodeText in doc.DocumentNode
            .Descendants()
            .Where(n => n.NodeType == HtmlNodeType.Text)
            .Select(n => HtmlEntity.DeEntitize(Regex.Unescape(n.InnerText))))
        {
            // бью текст на слова по пустым местам, можно еще Regex.Split использовать для этого
            // далее фильтрую все что не попадает под мои условия выбора
            foreach (string word in nodeText
                .Split(splitChars, StringSplitOptions.RemoveEmptyEntries)
                .Select(text => text.Trim().ToLower())
                .Where(t => t.Length >= minLength && t.Length <= maxLength))
            {
                // заношу в словарь
                words[word] = words.TryGetValue(word, out int count) ? count + 1 : 1;
            }
        }
        return words;
    }

    public void Dispose()
    {
        client.Dispose();
    }
}

这就是我使用的方式

static async Task Main(string[] args)
{
    using HttpParser parser = new HttpParser();
    var sw = Stopwatch.StartNew();
    var words = await parser.ParseLink("https://ru.wikipedia.org/wiki/HTTP", 5);
    Console.WriteLine(sw.Elapsed.ToString(@"hh\:mm\:ss\.fff"));
    foreach (var pair in words.OrderByDescending(x => x.Value).Take(20)) // возьму топ-20 слов, чтобы вывод не был огромным
    {
        Console.WriteLine($"[{pair.Key}] = {pair.Value}");
    }
}

页面的重量是 278 KB，根据它在 0.335 秒内加载的浏览器。

这就是我得到的

00:00:00.387
[править] = 70
[может] = 31
[сервер] = 31
[сообщения] = 22
[только] = 21
[заголовки] = 19
[заголовок] = 19
[ответа] = 19
[также] = 18
[сервера] = 18
[ответ] = 18
[англ.] = 17
[содержимое] = 17
[клиент] = 17
[запрос] = 17
[http/1.1] = 16
[могут] = 15
[запроса] = 15
[используется] = 14
[версия] = 13

也就是说，所有的解析工作大概花费了大约 50 毫秒。好吧，您的页面要大得多，但我相信它应该仍然可以在不到半秒的时间内完成。

从结果字典中，您已经可以选择您需要的单词。当然，您可以修改方法本身并在采样阶段过滤掉不必要的内容。我只是想展示这项技术。

当然，您可以使用它仅从文档中获取文本doc.DocumentNode.InnerText，但是任何动态对象（其文本可以隐藏在 JavaScript 块或 CSS 样式中的某处）都不会落入选择范围内。此外，部分处理文档可以让您不必在操作中创建大型对象，因此可以保存。但是您可以尝试删除外部foreach并替换nodeText为doc.DocumentNode.InnerText

顺便说一下，让我们试试

public async Task<Dictionary<string, int>> ParseLink(string url, int minLength = 1, int maxLength = 30)
{
    string html = await client.GetStringAsync(url);
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(html);
    Dictionary<string, int> words = new Dictionary<string, int>();

    foreach (string word in HtmlEntity.DeEntitize(Regex.Unescape(doc.DocumentNode.InnerText))
        .Split(splitChars, StringSplitOptions.RemoveEmptyEntries)
        .Select(text => text.Trim().ToLower())
        .Where(t => t.Length >= minLength && t.Length <= maxLength))
    {
        words[word] = words.TryGetValue(word, out int count) ? count + 1 : 1;
    }
    return words;
}

控制台输出

00:00:00.394
[править] = 35
[сервер] = 31
[может] = 30
[сообщения] = 21
[только] = 21
[заголовок] = 19
[ответ] = 18
[заголовки] = 17
[также] = 17
[клиент] = 17
[сервера] = 17
[ответа] = 17
[запрос] = 17
[содержимое] = 16
[могут] = 15
[запроса] = 15
[используется] = 14
[http/1.1] = 14
[основные] = 13
[метод] = 13

数字略有不同，但您决定最适合您的数字。从逻辑上讲，我更喜欢最后一个选项，而且更简单。

关于实例的创建HttpParser，您必须为每组 cookie 和每个代理创建自己的解析器。不要忘记在不再需要创建的实例时释放它们。

要在没有代理和 cookie 的情况下工作，一个解析器就足以处理所有请求，即使您想多线程执行它们也是如此。顺便说一句，您可以在此处阅读有关异步多线程的信息。