0

Есть сайт со списком учреждений. Названия кликабельны, после нажатия открывается новая страница с информацией об учреждении. Среди информации есть адрес сайта этого учреждения.

1)Какой библиотекой удобно пользоваться для скачивания списка с сайта?

2)Можно ли, и, если да, то как, написать программу, которая будет переходить для каждого учреждения на страницу с информацией о нём и скачивать адрес сайта?

На выходе хочется иметь список учреждений и сопоставленные каждому из них адреса сайтов. Ещё желательно поместить это всё в БД.

3)Касательно БД, нужна какая-то специальная библиотека для работы с MsSQL-SERVER?

Anton Ryabtsev
  • 41
  • 1
  • Скачивание сайта можно сделать стандартными средтвами. Парсинг - библиотекой Html Agility Pack, пример тут 2) Можно. Сесть и начать писать программу. Будут вопросы по коду - велком. 3) Есть много разных библиотек для этого, сама MS предлагает пользоваться Entity Framework'ом, что я вам и советую
    • – tym32167 Nov 30 '17 at 20:26
  • @tym32167 Хорошо, а по второму пункту, прошу небольшую справку в общих чертах как это делается? Я кликаю на название, чтобы перейти на новую страницу. Я так понимаю, надо чтоб програмка обнаружила нужное название и сама как бы кликнула на него, а там уже, как мне кажется, просто скачать html и найти нужный тег. Непонятно как делается этот "клик" - переход на другую страницу сайта. – Anton Ryabtsev Nov 30 '17 at 20:34
  • 1
    процес парсинга сайта выглядит так: у вас есть урл, вы скачивате страницу с интернета по этому урлу, получаете строку - содержимое скаченной страницы. После чего эту строку парсите и извлекаете те данные, что вам необходимы. В вашем случае у вас изначально есть урл для страницы со списком. Вы страницу скачиваете, парсите, извлекаете урлы каждого элемента списка. Дальше все заново для каждого из полученных урлов - скачать, рапарсить, извлечь данные. – tym32167 Nov 30 '17 at 20:37
  • @tym32167 столкнулся со сложностью: в реестре 4-ёхзначное число учреждений, меня интересуют десятая часть из них. Для списка есть фильтр, который оставит в списке нужные мне учреждения. Но в html фильтр указан как <select...>ещё пара вложенных тегов и с ним вроде как ничего нельзя сделать. Если на сайте вручную нажать на кнопку "фильтр", html меняется, то есть добавляется в атрибуте вложенного тега в конце "dropdown-active". Как программу заставить включить нужный фильтр? – Anton Ryabtsev Dec 03 '17 at 15:42
  • Вы меня спрашиваете как парсить сайт, который я никогда не видел, причем с нажатой кнопкой, которая непонятно что делает? Я не знаю. Но я недавно писал пример парсинга - может поможет чем. – tym32167 Dec 03 '17 at 16:09