У меня достаточно быстрый SSD. Как бы я не пытался распараллелить выполнение поиска, оно все равно съедает только один процессор, то есть вся работа ведется где-то драйвером в одном потоке, а мои потоки в приложении просто висят и ждут результатов этой работы. Но так как оверхед на асинхронность и спавн потоков получается весьма существенный, так как я выполнял поиск по всему диску C:\, то и выполнение метода затягивается и получается дольше.
Пробовал так же разбить сканирование директорий и получение файлов. При чем первое я выполнял синхронно в массив строк, а затем итерировал готовый массив чтобы поискать во всех доступных каталогах файлы. Прироста производительности так же не получилось, а вместо этого только просадка из-за того же асинхронного оверхеда.
Поэтому ответ на ваш вопрос: Распараллеливание здесь бесполезно из-за особенностей работы драйвера файловой системы.
Из вышеизложенного вывод: стоит сфокусироваться на оптимизации, а не на распараллеливании, так как оптимизация может дать больший прирост, чем распараллеливание.
Основная проблема вашего метода из вопроса - это то, что он сначала полностью отрабатывает, а затем только возвращает IEnumerable вызывающему методу. То есть сначала отработают все рекурсии, а потом только вы сможете проитерировать результаты. Если быть точнее, то возврат из метода произойдет только тогда, когда отработают все .Concat. Это можно исправить и получать результаты по мере их возвращения файловой системой.
Вторая проблема - баг, неиспользуемая переменная z, вычисления значения которой надо сгенерировать массив, но вы далее ничего с этой переменной не делаете, так что можно просто удалить строчку var z = foundFiles.Distinct().ToList();.
Третья проблема - это то что метод пытается получить файлы из директории, к которой уже известно, что нет доступа. В результате метод генерирует в 2 раза больше исключений, чем могло бы быть в идеале.
После оптимизации рекурсивный метод выглядит вот так:
public IEnumerable<string> GetDirectoryFiles(string rootPath, string patternMatch, SearchOption searchOption)
{
bool dirSuccess = true;
if (searchOption == SearchOption.AllDirectories)
{
dirSuccess = false;
IEnumerable<string> subDirs = Enumerable.Empty<string>();
try
{
subDirs = Directory.EnumerateDirectories(rootPath);
dirSuccess = true;
}
catch (UnauthorizedAccessException ex) { LoggingExtensions.WriteDebug(ex.Message); }
catch (PathTooLongException ex) { LoggingExtensions.WriteDebug(ex.Message); }
foreach (string dir in subDirs)
{
foreach (string path in GetDirectoryFiles(dir, patternMatch, searchOption))
{
yield return path;
}
}
}
// нет смысла пытаться запрашивать файлы, если нет доступа к каталогу или возникла другая ошибка
if (dirSuccess)
{
foreach (string path in Directory.EnumerateFiles(rootPath, patternMatch))
{
yield return path;
}
}
}
Что можно оптимизировать дальше? То же что и всегда, когда я сталкиваюсь с рекурсивными методами - избавиться от рекурсии. Я попробовал механизмы с массивами и итерированием по большому массиву - особого прироста не получил, а получил его только от метода Directory.EnumerateDirectories с непосредственной передачей параметра SearchOption в него. То есть задачу поиска переложил наполовину на .NET, и вот тогда прирост стал ощутимым, хоть и не фантастическим.
Реализация без рекурсии:
public IEnumerable<string> GetDirectoryFilesFast(string rootPath, string patternMatch, SearchOption searchOption)
{
foreach (string file in Directory.EnumerateFiles(rootPath, patternMatch))
{
yield return file;
}
if (searchOption == SearchOption.AllDirectories)
{
IEnumerator<string> enumarator = Directory.EnumerateDirectories(rootPath, string.Empty, searchOption).GetEnumerator();
while (true)
{
bool skip = true;
try
{
if (!enumarator.MoveNext())
break;
skip = false;
}
catch (UnauthorizedAccessException ex) { LoggingExtensions.WriteDebug(ex.Message); }
catch (PathTooLongException ex) { LoggingExtensions.WriteDebug(ex.Message); }
if (skip)
continue;
foreach (string file in Directory.EnumerateFiles(enumarator.Current, patternMatch))
{
yield return file;
}
}
}
}
Да и сам метод стал выглядеть проще.
Ну и измерил производительность на релизном билде.
Завел класс логирования. Так как мне нужна только статистика ошибок, то я просто их посчитаю, и не буду никуда выводить.
public static class LoggingExtensions
{
public static int ErrorsCount { get; set; }
public static void WriteDebug(string text) { ErrorsCount++; }
}
static void Main(string[] args)
{
Console.WriteLine("GetDirectoryFiles");
DateTime date = DateTime.Now;
int i = 0;
LoggingExtensions.ErrorsCount = 0;
foreach (string path in GetDirectoryFiles(@"C:\", "*.cs", SearchOption.AllDirectories)) { i++; }
Console.WriteLine($"Found {i} files");
Console.WriteLine($"{LoggingExtensions.ErrorsCount} exceptions thrown");
TimeSpan elapsed = DateTime.Now - date;
Console.WriteLine($"Elapsed {elapsed.TotalSeconds}s");
Console.WriteLine("GetDirectoryFilesOriginal");
date = DateTime.Now;
i = 0;
LoggingExtensions.ErrorsCount = 0;
foreach (string path in GetDirectoryFilesOriginal(@"C:\", "*.cs", SearchOption.AllDirectories)) { i++; }
Console.WriteLine($"Found {i} files");
Console.WriteLine($"{LoggingExtensions.ErrorsCount} exceptions thrown");
elapsed = DateTime.Now - date;
Console.WriteLine($"Elapsed {elapsed.TotalSeconds}s");
Console.WriteLine("GetDirectoryFilesFast");
date = DateTime.Now;
i = 0;
LoggingExtensions.ErrorsCount = 0;
foreach (string path in GetDirectoryFilesFast(@"C:\", "*.cs", SearchOption.AllDirectories)) { i++; }
Console.WriteLine($"Found {i} files");
Console.WriteLine($"{LoggingExtensions.ErrorsCount} exceptions thrown");
elapsed = DateTime.Now - date;
Console.WriteLine($"Elapsed {elapsed.TotalSeconds}s");
Console.ReadKey();
}
Ваш метод из вопроса назван здесь GetDirectoryFilesOriginal и для чистоты эксперимента я воткнул его в неизменном виде в середину, ну чтобы не казалось, что он отработал медленнее из-за того что первое обращение к директориям еще не кешировано и работает медленнее. В моем конкретном случае это не так.
И получил вот такой вывод (релизный билд с оптимизацией кода):
GetDirectoryFiles
Found 2612 files
287 exceptions thrown
Elapsed 89,225523s
GetDirectoryFilesOriginal
Found 2612 files
574 exceptions thrown
Elapsed 440,9526969s
GetDirectoryFilesFast
Found 2612 files
287 exceptions thrown
Elapsed 69,9758348s
Пришлось запастись терпением, чтобы дождаться окончания работы вашего метода. В итоге полная оптимизация ускорила работу метода в 6,3 раза.
Так что решение вашей проблемы - не распараллеливание, а оптимизация.
FileSystemWatcherв фоне – SmorcIRL Jan 22 '21 at 18:44var z = foundFiles.Distinct().ToList();и оно начинает раз в 5 работать быстрее. – aepot Jan 22 '21 at 21:02