Требуется спарсить информацию с сайта, у которого новые посты подгружаются динамически т.е при пролистывании страницы вниз, записи подгружаются партиями. Как можно получить все эти записи? Есть ли возможность обойтись без Selenium? Реализовал данный проект на Python, использовал Selenium для прокрутки страницы, но это замедляет сильно работу парсера.
Asked
Active
Viewed 43 times
0
-
Пожалуйста, уточните вашу конкретную проблему или приведите более подробную информацию о том, что именно вам нужно. В текущем виде сложно понять, что именно вы спрашиваете. – Дух сообщества Nov 25 '21 at 12:45
-
Открываете сетевой лог браузера, ищите ответы сервера с нужной вам информацией и шлете напрямую HTTP запросы мимо страницы. – aepot Nov 25 '21 at 12:50
-
1https://ru.stackoverflow.com/a/924276/220553 – EvgeniyZ Nov 25 '21 at 12:54
-
в кучу https://ru.stackoverflow.com/q/1178026/373567 – aepot Nov 25 '21 at 14:02