Дозагрузка файла с FTP-сервера в случае непредвиденного обрыва соединения

Question

Есть FTP сервер, с которого надо скачивать файлы, для этого я использую WebClient. И есть так же вероятность обрыва соединения во время загрузки.

Вот такой код сейчас скачивает файл

private static BlockingCollection<FileItem> downloadQueue;

private static void StartDownloadTask()
{
    FileItem file;
    if (downloadQueue.Count > 0 && downloadQueue.TryTake(out file))
    {
        using (WebClient client = InitWebClient())
        {
            Task t;
            t = client.DownloadFileTaskAsync(file.RemoteUri, file.SavePath);
            t.ContinueWith(OnTaskComplete);
        }
    }
}

private static WebClient InitWebClient()
{
    WebClient client = new WebClient();
    client.Credentials = new NetworkCredential(Settings.Login, Settings.Password);
    return client;
}

Мне надо приостановить загрузку файла, если соединение пропало, и подождать некоторое время, пока соединение вновь восстановится. И затем продолжить загрузку. Как это можно реализовать?

Если пропало, то вряд ли восстановится. Может даже случится так, что восстановления будите ждать вечно. Загрузка останавливается по таймауту, соединение разрывается. Устанавливается новое и загрузка продолжается с прерванного места. Ведь файл неудавшейся загрузки Вы не удаляете? Это единственный способ узнать где прервалась загрузка. — Sergey, Apr 21 '16 at 16:32
Понял. В таком случае надо будет перехватить WebException и поместить неудавшийся файл обратно в очередь загрузки. — Simple Ned, Apr 21 '16 at 16:47

score 1 · Answer 1 · edited Apr 13 '17 at 12:53

Не-не, вы ж будете загружать файл весь заново, даже если не догрузилось всего пару байт. Сохраняйте в задании на загрузку список недогруженных участков, и грузите только нужное.

Ну и лучше использовать async/await (код подходящего producer/consumer'а взят отсюда).

Вот наброски кода:

async Task SingleConsumerTask()
{
    while (await downloadQueue.OutputAvailableAsync())
    {
        FileItem file;
        if (!downloadQueue.TryReceive(out file))
            continue;

        try
        {
            if (file.Range.End == null)
            {
                var sizeRequest = (FtpWebRequest)InitWebRequest(file.RemoteUri);
                sizeRequest.Method = WebRequestMethods.Ftp.GetFileSize;
                using (var response = (FtpWebResponse)await sizeRequest.GetResponseAsync())
                    file.Range.End = response.ContentLength;
            }

            var request = (FtpWebRequest)InitWebRequest(file.RemoteUri);
            request.Method = WebRequestMethods.Ftp.DownloadFile;
            request.ContentOffset = file.Range.Start;
            using (var response = (FtpWebResponse)await request.GetResponseAsync())
            {
                var buf = new byte[1024 * 1024];
                var s = response.GetResponseStream();
                while (file.Range.Start < file.Range.End)
                {
                    var actuallyRead = await s.ReadAsync(buf, 0, buf.Length);
                    if (actuallyRead == 0) // error
                    {
                        file.numberOfRetries++;
                        break;
                    }
                    file.Range.Start += actuallyRead;
                    // у вас есть буфер с данными, отправьте его в очередь на запись в файл
                    // и загружайте тем временем дальше
                }
            }
        }
        catch (WebException)
        {
            file.numberOfRetries++;
        }
        finally
        {
            if (file.Range.End == null || file.Range.Start < file.Range.End)
            {
                if (file.numberOfRetries < 10)
                {
                    await downloadQueue.SendAsync(file);
                }
                else
                {
                    // запостить в список зафейлившихся загрузок
                }
            }
        }
    }
}

private static WebRequest InitWebRequest(string uri)
{
    var request = WebRequest.Create(uri);
    request.Credentials = new NetworkCredential(Settings.Login, Settings.Password);
    return request;
}

Ну и если вы хотите паузу перед повторным соединением, добавьте в FileInfo время, начиная с которого можно повторно снова пытаться грузить.

@SimpleNed: Ну да, но ваш код вроде бы грузит файл через DownloadFileTaskAsync каждый раз снова с начала, правильно? — VladD, Apr 22 '16 at 13:54
Нет, файл остаётся. Но я проверил, если запустить таск через 'DownloadFileTaskAsync', то если связь оборвётся - файл останется на диске. А если создавать пустой таск, и внутри него использовать 'DownloadFile', то при обрыве файл удаляется. Я решил не играть в пляски с бубном и отказался от использования WebClient в пользу FtpWebRequest, т.к. для чтения потока не с начала приходится использовать 'request.ContentOffset'. Вероятно, в WebClient он тоже присутствует, но на MSDN не рекомендуется использовать его для этих целей — Simple Ned, Apr 22 '16 at 15:24
@SimpleNed: Файл остаётся, да. Но DownloadFileTaskAsync грузит его сначала, правильно? В моём примере, кстати, как раз FtpWebRequest. — VladD, Apr 22 '16 at 16:37
Грузит сначала, Вы правы, да. Я сначала хотел получить поток из WebClient, но уже по вышеуказанным причинам вернулся к Вашему варианту — Simple Ned, Apr 22 '16 at 16:39

Дозагрузка файла с FTP-сервера в случае непредвиденного обрыва соединения

1 Answers1