0

Имеется большой массив данных, который обрабатывается несколькими потоками одновременно (сами элементы массива не изменяются, а лишь читаются). Необходимо реализовать функционал, который позволяет равномерно распределить работу: у каждого потока в любой момент времени есть 1 обрабатываемый элемент, завершив работу с этим элементом, вызывается метод GetItem(), который запрашивает следующий элемент. Как идея: создать внутренний словарь где ключом будет идентификатор потока, а значением - позиция обрабатываемого элемента. При вызове метода GetItem() осуществляется потокобезопасный поиск номера элемента, который может быть следующим (номер на единицу больше наибольшего из номеров, обрабатываемых в настоящий момент, либо наименьший номер находящий между соседними отсортированными по возрастанию номерами с разницей больше 1). Так же следует избежать копирования самого массива - необходимо лишь вытаскивать в нужный момент элемент с определённым номером.

Просто разделить весь массив на несколько равных по размеру сегментов и скормить соответствующему количеству потоков не подходит, так как время обработки каждого элемента может сильно отличаться, и в то время как один поток завершит обработку, другие будут простаивать.

UPD: Работа всех потоков может быть прервана и тогда важно сохранить номера обрабатываемых элементов, чтобы в следующий раз можно было с них же начать.

D .Stark
  • 1,092
  • 3
    Имплементация Producer/Consumer pattern – tym32167 Sep 23 '22 at 00:52
  • @tym32167 Возможно ли создать из массива объект BlockingCollecting избегая копирования элементов? Мне кажется нет. Дополнил вопрос. – D .Stark Sep 23 '22 at 09:39
  • Не понял про копирование. Если вам надо сохранять обработанные индексы - сделайте второй массив и туда сохраняйте. – tym32167 Sep 23 '22 at 11:13
  • Мне кажется можно использовать ConcurrentQueue. При остановке работы можно запомнить оставшееся количество элементов (вычитая из общего количества элементов получим значение числа элементов, которые нужно отсечь с начала массива при возобновлении работы). "Не понял про копирование." - исходный массив очень большой по размеру, при создании того же экземпляра ConcurrentQueue в конструктор передаётся IEnumerable - произойдёт ли копирования элементов в какую-нибудь внутреннюю коллекцию? То есть не хотелось бы иметь в памяти 2 одинаковых больших набора данных. – D .Stark Sep 23 '22 at 11:47
  • По всей видимости внутри создаётся некоторый Segment, который, я полагаю, похож на ArraySegment и не содержит самих элементов, а лишь указывает на сегмент исходной коллекции. – D .Stark Sep 23 '22 at 11:50
  • Про количество - ну вот вы отправите обрабатываться элементы 1-10 и нажмёте стоп, к этому времени обработаться успеют элементы 6 и 10 например. Как вы это опишете «оставшимися количеством элементов»? – tym32167 Sep 23 '22 at 13:49
  • Про то, что исходный массив «очень большой» я не понял. Расскажите в числах. Сколько элементов, сколько памяти занимает каждый и так далее. «Очень большой» -это по сути не описывает ничего – tym32167 Sep 23 '22 at 13:50
  • Про копирование - если ваши элементы в массиве ссылочного типа, то создание новой коллекции просто копирует ссылки на них, а не все данные. Например, если у вас массив строк, создание очереди с ними будет копировать ссылки на те же строки. – tym32167 Sep 23 '22 at 13:52
  • Массовые асинхронные вызовы с ограничением на количество параллельных – aepot Sep 23 '22 at 15:12
  • "Про количество - ну вот вы отправите обрабатываться элементы 1-10 и нажмёте стоп, к этому времени обработаться успеют элементы 6 и 10 например. Как вы это опишете «оставшимися количеством элементов»?" - Каждый поток берёт из очереди по 1 элементу. Невозможно же взять 6 и 10 элементы, не взяв при этом все с 1 по 10. – D .Stark Sep 24 '22 at 13:38
  • "Сколько элементов, сколько памяти занимает каждый" - Около полумиллиона элементов, суммарный размер 120 МБайт. Размер каждого элемента разный. – D .Stark Sep 24 '22 at 13:49
  • _"если ваши элементы в массиве ссылочного типа, то создание новой коллекции просто копирует ссылки на них, а не все данные." - Вообще да, но скопировать ссылки тоже может быть затратно если их очень много. ArraySegment к примеру не хранит ни ссылок ни самих элементов. – D .Stark Sep 24 '22 at 13:52
  • @aepot Не нашёл ответа на свой вопрос. – D .Stark Sep 24 '22 at 14:17

0 Answers0