Дело в том, что нет смысла читать файл(ы) с одного физического накопителя в несколько потоков - это абсолютно не увеличит производительность (а может даже уменьшит). Так что, в вашем случае, скорее всего, узким местом будет именно чтение xml.
А вот дальнейшую обработку, уже после чтения с диска, вполне можно выполнять в отдельных потоках. Для этого удобно применять конвейеры (pipelines).
Например, шаблон может выглядеть следующим образом:
var inputValues = new BlockingCollection<string>();
var readXml = Task.Run(() =>
{
try
{
using (var xmlReader = XmlReader.Create("test.xml"))
{
while (xmlReader.ReadToFollowing("nodeName"))
inputValues.Add(xmlReader.ReadElementContentAsString());
}
}
finally { inputValues.CompleteAdding(); }
});
var processValues = Task.Run(() =>
{
foreach (var value in inputValues.GetConsumingEnumerable())
{
// обрабатываем value
}
});
Task.WaitAll(readXml, processValues);
Такой способ также называют производитель-потребитель (producer-consumer). Один поток производит данные - другой(ие) их потребляет.
Использование BlockingCollection автоматически обеспечивает много преимуществ, о которых можно почитать в справке.
При необходимости, количество стадий конвейера можно легко увеличивать:
var inputValues = new BlockingCollection<string>();
var processedValues = new BlockingCollection<string>();
var readXml = Task.Run(() =>
{
try
{
using (var xmlReader = XmlReader.Create("test.xml"))
{
while (xmlReader.ReadToFollowing("nodeName"))
inputValues.Add(xmlReader.ReadElementContentAsString());
}
}
finally { inputValues.CompleteAdding(); }
});
var processValues = Task.Run(() =>
{
try
{
foreach (var value in inputValues.GetConsumingEnumerable())
{
// обрабатываем value
var newValue = Process(value);
processedValues.Add(newValue);
}
}
finally { processedValues.CompleteAdding(); }
});
var writeToDB = Task.Run(() =>
{
foreach (var value in processedValues.GetConsumingEnumerable())
{
// записываем данные в БД
}
});
Task.WaitAll(readXml, processValues, writeToDB);
Если один из потоков работает намного быстрее других и забивает память, то можно ограничить ёмкость его коллекции:
var inputValues = new BlockingCollection<string>(boundedCapacity: 50);
Таким образом, заполнив коллекцию до указанного значения, он будет ждать, пока другие потоки не выберут данные.
Обработку данных внутри каждой стадии конвейера можно дополнительно распараллелить, если это необходимо и вообще возможно:
foreach (var value in inputValues.GetConsumingEnumerable()
.AsParallel() // распараллеливаем обработку
.AsOrdered() // обеспечиваем правильный порядок, если нужно
)
{
// обрабатываем value
}
Можно ли в несколько потоков записывать данные в БД? Вероятно, на эту тему нужно задать отдельный вопрос, обязательно указав, какая именно СУБД используется и прочую информацию.
Многие СУБД имеют специальные возможности по массовому эскпорту и импорту данных. Например, SQL Server. Вероятно, их использование будет эффективней, чем ручное написание многопоточного кода.
