主页 / 问题 / 1112924
Accepted
Talleyran
Asked:2020-04-20 18:06:04 +0000 UTC2020-04-20 18:06:04 +0000 UTC

等待异步调用循环完成c#

  • 772

有一个异步下载许多文件的循环：


privare void MyLogic(...) {

   int start = 5, end = 150;
   string filepath = @"somepath", url=@"someurl", ext = ".zip";

   for (int i = start; i<= end; i++) 
   {
      LoadFile(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
   }

   //вот тут я хочу выполнить обработку только после того, как все загрузки будут завершены

}


private void LoadFile(string url, string path)
{
   try
   {
       using (WebClient client = new WebClient())
       {
           client.DownloadFileCompleted += (s, e) =>
           {
               Console.WriteLine(url + " success");
           };

           client.DownloadFileAsync(new Uri(url), path); //асинхронная загрузка
       }
   }
   catch
   {
       Console.WriteLine(url + " error"); //досадно, но продолжаем
   }
}

循环之后，我想在文件系统级别处理已下载的内容。如何重写代码以准确了解所有文件的成功下载完成时间？

c#

2 个回答

  1. Best Answer

    所以对于初学者来说，你需要LoadFile通过制作来改变Task，而不是void。例如，所以

    private async Task LoadFileAsync(string url, string path)
{
   try
   {
       using (WebClient client = new WebClient())
       {
           client.DownloadFileCompleted += (s, e) =>
           {
               Console.WriteLine(url + " success");
           };

           await client.DownloadFileAsync(new Uri(url), path); //асинхронная загрузка
       }
   }
   catch
   {
       Console.WriteLine(url + " error"); //досадно, но продолжаем
   }
}

    在这里，MyLogic有三个选项：

    1）我们依次一个一个地执行所有的下载，但是是异步的

    private async Task MyLogic(...) 
{    
   ...

   for (int i = start; i<= end; i++) 
   {
      await LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
   }

   DoAfter();     
}

    2) 一次运行所有 100500 次下载并等待它们完成

    private async Task MyLogic(...) 
{    
   ...

   var taks = new List<Task>(); 
   for (int i = start; i<= end; i++) 
   {
      Task task = LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
      tasks.Add(task); 
   }
   await Task.WhenAll(tasks);

   DoAfter();     
}

    3）同样的，同时运行未知数量的任务不是很体面。为此，发明了节流模式（链接到维基百科）。当然，你可以自己实现，也可以使用Task Parallel Libraray.Dataflow库（链接到nuget）

    private async Task MyLogic(...) 
{    
    ...

    var block = new ActionBlock<int>(
        i => LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext),
        new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = 50 });

    for (int i = start; i<= end; i++) 
    {
       block.Post(i);
    }

    block.Complete();
    await block.Completion;

    DoAfter();     
}
    • 2

  2. 这是一个完整的代码异步示例并使用System.Net.Http.HttpClient.

    控制台应用程序，.NET Core 3.1 (C# 8.0)

    带有注释的完整应用程序代码

    class Program
{
    // HttpClient создается один раз на все время работы приложения
    private static readonly HttpClient client = new HttpClient();

    struct DownloadParams // структура для параметров загрузки
    {
        public string Url { get; set; }
        public string FilePath { get; set; }
    }

    // асинхронный Main, обратите внимание!
    static async Task Main(string[] args)
    {
        List<DownloadParams> downloads = new List<DownloadParams>(); // новый список загрузок
        int start = 5, end = 150;
        string filepath = @"somepath", url = @"someurl", ext = ".zip";

        for (int i = start; i <= end; i++) // заполнение списка загрузок
        {
            downloads.Add(new DownloadParams { Url = url + i.ToString() + ext, FilePath = filepath + "/" + i.ToString("D4") });
        }

        try
        {
            await DownloadFilesAsync(downloads); // загружаем
        }
        catch (Exception ex)
        {
            Console.WriteLine("Ошибка при загрузке: " + ex.Message);
        }

        // здесь код, который надо выполнить после завершения всех загрузок.
        // при этом, все файлы уже записаны на диск, можно открывать и обрабатывать
    }

    // асинхронно загружает весь список с ограничением на количество одновременных загрузок
    private static async Task DownloadFilesAsync(List<DownloadParams> downloads)
    {
        Console.WriteLine("Запуск загрузки.");
        int maxTasks = 20; // максимальное количество одновременно работающих задач
        using SemaphoreSlim semaphore = new SemaphoreSlim(maxTasks);
        List<Task> tasks = new List<Task>();
        foreach (DownloadParams download in downloads)
        {
            // ждать, если достигнуто максимальное количество одновременно работающих задач, пока их не станет меньше
            await semaphore.WaitAsync();

            tasks.Add(Task.Run(async () =>
            {
                await DownloadAndSaveFileAsync(download); // загрузить файл
                semaphore.Release(); // сообщить, что задач стало меньше
            }));
        }
        await Task.WhenAll(tasks); // ждать завершения всех задач
        Console.WriteLine("Загрузка завершена.");
    }

    // асинхронно загружает один файл
    private static async Task DownloadAndSaveFileAsync(DownloadParams download)
    {
        Console.WriteLine("Начата загрузка из: " + download.Url + ", и сохранение в: " + download.FilePath);
        try
        {
            using HttpResponseMessage responseMessage = await client.GetAsync(download.Url, HttpCompletionOption.ResponseHeadersRead).ConfigureAwait(false);
            responseMessage.EnsureSuccessStatusCode(); // бросить исключение, если сервер вернул ошибку

            using FileStream fileStream = new FileStream(download.FilePath, FileMode.Create, FileAccess.Write, FileShare.None); // новый файл

            using Stream stream = await responseMessage.Content.ReadAsStreamAsync().ConfigureAwait(false); // загрузка данных

            await stream.CopyToAsync(fileStream); // запись на диск
            Console.WriteLine("Файл " + download.FilePath + " успешно загружен и сохранен.");
        } 
        catch (Exception ex)
        {
            Console.WriteLine(ex.Message);
        }
    }
}

    如果异步比较困难Main，那么这里是通常的同步

    static void Main(string[] args)
{
    List<DownloadParams> downloads = new List<DownloadParams>(); // новый список загрузок
    int start = 5, end = 150;
    string filepath = @"somepath", url = @"someurl", ext = ".zip";

    for (int i = start; i <= end; i++) // заполнение списка загрузок
    {
        downloads.Add(new DownloadParams { Url = url + i.ToString() + ext, FilePath = filepath + "/" + i.ToString("D4") });
    }

    try
    {
        DownloadFilesAsync(downloads).GetAwaiter().RetGesult(); // загружаем
    }
    catch (Exception ex)
    {
        Console.WriteLine("Ошибка при загрузке: " + ex.Message);
    }
}
    • 2

相关问题