0

Я спарсил сайт и js тоже, теперь как мне подключить мой спаресенный string, чтобы anglesharp проанализировал его и нашел нужные мне теги, вот код парсинга:

 WebRequest req = WebRequest.Create(@"...");
            req.Method = "POST";
            //Вот тут пришлось погуглить так как не редко тип у каждого свой, в итоге нашел в одном из проектов на github.
            req.ContentType = "application/x-www-urlencoded";
            string str = "";
            WebResponse response = req.GetResponse();
            using (Stream s = response.GetResponseStream()) //Пишем в поток.
            {
                using (StreamReader r = new StreamReader(s)) //Читаем из потока.
                {
                    str = r.ReadToEnd(); //!!!Изменения
                }
            }
            response.Close();

Как подключить его к anglesharp теперь? Нужен код, если нету такой возможности, то покажите на чем другом можно реализовать

  • При чем тут JS, какие теги? Может ваша задача вовсе решается по другому? Тогда давайте сайт, будем смотреть что и как. – EvgeniyZ Feb 17 '20 at 21:02
  • https://www.instagram.com/p/B8qYU66g2rh/ вот ссылка на инстаграм, я хочу спарсить комментарии с поста, но как-то обычным html не поулчается, вот сейчас я поулчил json(js) данные в string, как мне заставить anglesharp работать с ними? – ScpaceHouse Feb 18 '20 at 12:59
  • JSON и JS - две совершенно разные вещи. По поводу вопроса - во первых, WebRequest является устаревшим классом (посмотрите в документации его аналог), во вторых поймите для начала как работает необходимый вам сайт, конкретно в вашем случае вообще не нужен HTML парсер (HAP и AngleSharp), ибо сайт отдает все данные в открытую, достаточно добавить всего навсего ?__a=1 в конце запроса. Вот например ваши комментарии. Так у меня вопрос тот же, при чем тут JS?) – EvgeniyZ Feb 18 '20 at 14:45
  • Я все время работ с селенайдом и не задумывался как сайты работают, сейчас мне понадобилось парсить сайты через коносль, и вот я пытаюсь научиться – ScpaceHouse Feb 18 '20 at 15:48
  • Я хочу именно программно взять ссылку с елемента. Как я могу это сделать? Взять как текст и сравниванием строк делать? – ScpaceHouse Feb 18 '20 at 15:56
  • Просто если я буду работать с подобными сайтами, я мог знать алгорит и сделать так же – ScpaceHouse Feb 18 '20 at 15:58
  • Если добавить эти символы в конце, то можно спарсить как html получается... Но если есть подгрузки и тп, то моим способом наверное лучше будет работать. Можете конкретно сказать на чем парсить подобные сайты, и как брать информацию? – ScpaceHouse Feb 18 '20 at 16:05
  • 1
    Сайт дает вам полный JSON указанной страницы, берите из него все, что надо, а лучше используйте API, если сайт его имеет. Как парсить другие сайты - смотрите например этот ответ. – EvgeniyZ Feb 18 '20 at 16:08

0 Answers0