2

Есть 2 кода на htmlagilitypack и anglesharp, и не один из них не работает, вот коды htmlagilitypack

 var doc = new HtmlWeb().Load("https://www.instagram.com/p/BGwG0OKlxr9/?igshid=10x3x18i0i7nb");// загружаем страницу
 var elements = doc.DocumentNode.SelectNodes("//a[@class = 'FPmhX notranslate  nJAzx']");// беру массу заголовков 
 foreach (HtmlNode element in elements)
 {
  // var heads = HttpUtility.HtmlDecode(element.SelectSingleNode(".//a[@class = 'FPmhX notranslate  nJAzx']").InnerText);
  Console.WriteLine(element.GetAttributeValue("href", null));
 }

anglesharp

var config = Configuration.Default;
var context = BrowsingContext.New(config);
string HTML = new WebClient().DownloadString("https://www.instagram.com/p/BGwG0OKlxr9/?igshid=10x3x18i0i7nb");
var document = await context.OpenAsync(req => req.Content(HTML)); //Получение html страницы

 var links = document.QuerySelectorAll("a")
 .Where(item => item.ClassName.Equals("FPmhX notranslate  nJAzx") && item.ClassName!= null).OfType<IHtmlAnchorElement>();

            // var blueListItemsLinq = document.QuerySelectorAll("div").Where(m => m.ClassName != null && m.ClassName.Equals("wants-card__header"));

foreach (var item in links)
 {
  Console.WriteLine($"Name:{item.Text}");
 }
 Console.Read();

в htmlagilitypack выдает ошибку :

System.NullReferenceException: "Object reference not set to an instance of an object."

elements было null.

. Может можете подсказать как сделать, чтобы можно было с инсты вытащить ссылку

Prince Tag
  • 99
  • А вы уверены, что на странице есть всё нужное? Может он на ходу через JS генерит контент. Или авторизация нужна. Проверьте, что в doc вообще приходит. – CrazyElf Feb 13 '20 at 14:56
  • Как можно проверить? И если js генерит, как через js вытащить ссылку? – Prince Tag Feb 13 '20 at 15:05

1 Answers1

2

На странице полученной через anglesharp подобных элементов нет, поэтому он отдаёт пустое множество, но не падает.

Агилитипак в документации (не могу запустить код) пишет null if no node matched поэтому падает с NullReference

Update

И если js генерит, как через js вытащить ссылку?

var config = Configuration.Default.WithDefaultLoader().WithCss();//.WithJavaScript();//.WithJs()

Дополнительно подключать AngleSharp.Css и либо AngleSharp.Scripting.Javascript (старая версия) либо AngleSharp.Js (новая экспериментальная версия)

Пример: В чем ошибка в парсере AngleSharp и как вообще работает QuerySelector?

Update2 Если бы ссылки были -- можно было бы упростить код:

var config = Configuration.Default;
var context = BrowsingContext.New(config);
var source = @"<body><a href='#' class='FPmhX notranslate nJAzx'>asdf</a></body>";
var document = await context.OpenAsync(req => req.Content(source));

var links = document.QuerySelectorAll("a.FPmhX.notranslate.nJAzx");
//links.Dump();
foreach (var item in links)
{
    Console.WriteLine($"Name:{item.TextContent}");
}

(обратите внимание на то, что записаны через точку)

A K
  • 28,718
  • Так как показать ему это элемент, я же вроде правильно все указал, или как получить этуссылку? – Prince Tag Feb 13 '20 at 15:11
  • Можете еще подсказать, какие нужны будут библиотеки для css? для javascript нашел вроде – Prince Tag Feb 13 '20 at 15:19
  • AngleSharp.Css + AngleSharp.Scripting.Javascript – A K Feb 13 '20 at 15:22
  • Спасибо))))))))) – Prince Tag Feb 13 '20 at 15:24
  • @PrinceTag Пардон, не глянул, что это я вам из своих старых ответов устаревший код работаю. Нынче не AngleSharp.Scripting.Javascript а AngleSharp.Js положено юзать. https://ru.stackoverflow.com/q/1082208/213987 – A K Feb 13 '20 at 16:09
  • Вот сделал сейчас все как у вас, только вместо source поставил это string HTML = new WebClient().DownloadString("https://www.instagram.com/p/BGwG0OKlxr9/?igshid=10x3x18i0i7nb"); и опять нифига не выдает результат, даже текст не выдает, тупо закрывается – Prince Tag Feb 13 '20 at 16:34
  • js css тоже поставил в config – Prince Tag Feb 13 '20 at 16:46
  • Посмотрел что в браузере, там js грузится с другого домена. Добавил WithRequesters из AngleSharp.IO и WithTemporaryCookies но похоже, что либо скрипты какую-то защиту имеют, либо библиотека не может js прожевать. Там только body ищется. Надо добавлять реальные заголовки в handler и смотреть postman'ом что конкретно отдаётся. – A K Feb 13 '20 at 17:53
  • Странно, но нашел уязвимость через css и js +-, я сейчас тестил на selenium, и js/css кое-как вытащил. Буду пробовать на anglesharp вытаскивать css\js ом – Prince Tag Feb 13 '20 at 17:55
  • Спасибо за помощь) – Prince Tag Feb 13 '20 at 17:57