1

Ищу уже который день способ парсить страницы как можно быстрее и эффективней.

Парсинг происходит через прокси, так как если с одного ип делать слишком частые запросы на сайт(который парсим) возвращаются ошибки о временной блокировки (анти ddos).

Мне нужно просто загружать страницы, т.е. параметры передавать не нужно. Обычные Get запросы.

  1. Какие классы лучше использовать? Я использовал HttpWebResponse/Request и WebResponse/Request. У этих классов у меня возникает иногда трабла с proxy, некоторые адреса очень долго не отвечают и потоки в которых делю запрос зависают. Возможно есть другие более эффективные способы сделать GET запрос через прокси? Мб стоит использовать другую библиотеку, например CURL?

  2. Как эффективней организовать работу с потоками? Использовать просто массив потоков? Использовать трэдПул? Смотреть в сторону асинхронности?

Если есть возможность предоставьте наиболее эффективный и простой пример с многопоточным совершение GET запросов через прокси.

XXX
  • 400
  • 1
    Я когда-то писал пример парсера. Но как он будет работать с прокси я без понятия – tym32167 Jul 03 '18 at 09:29
  • 1
    В основе всего - всёравно сокет. Можно попробовать GET запросы делать через сокет. (если http) https://stackoverflow.com/questions/11862890, а по поводу http-прокcи нужно в HOST передавать сайт, а в адрес коннекта сокета писать параметры прокси. Вот пример сокета с прокси cyberforum.ru/csharp-net/thread708014.html – nick_n_a Jul 03 '18 at 09:31
  • 1
    @nick_n_a в чем смысл использования сокетов для простого гет запроса? – tym32167 Jul 03 '18 at 09:31
  • 1
    @tym32167 много подводных камней. Например в вашем примере, нужно отключать заголовок 100-continue. Нужно ставить try-catch что б обработать ответ отличный от 200. На обработку стрима теряется быстродействие. – nick_n_a Jul 03 '18 at 09:35
  • 2
    @nick_n_a тогда, для запросов надо асинхронные методы сокета использовать, чтобы поток не блочить. То есть сокеты взять от вас, асинхронщину от меня :) – tym32167 Jul 03 '18 at 09:52
  • 1
  • Не важно, что вы используете, если у вас прокси не стабильно работают. 2. Эффективно можно через асинхронность, tpl dataflow хорошо подойдёт.
    • – Primus Singularis Jul 04 '18 at 05:21