Wie man mit einer "endlosen" Webseite beim Scraping umgehen kann

Question

Ich mache einen Scraper, um eine Liste meiner Freunde von Facebook zu bekommen, dann eine Liste von gemeinsamen Freunden von ihnen zu kratzen, mit dem Ziel, ein Web mit den Daten zu konstruieren. Ich schaute auf die offizielle Facebook-API, und es scheint nicht möglich zu sein, entschied ich mich einfach von den Webseiten zu kratzen.

Nachdem ich mich mit mechanize eingeloggt habe, habe ich die Seite ausgekratzt und festgestellt, dass Facebook nur 20 Freunde gleichzeitig lädt und beim Scrollen mehr lädt. Ich schaute durch, er mechanisierte Dokumente, aber ich konnte keine Lösung finden. Ich habe versucht, ein paar Sekunden zu schlafen, bevor ich die Seite summierte und das hat auch nicht funktioniert.

Nicht sicher, wohin von hier zu gehen, gibt es sowieso, um in mechanisieren Scrollen nachzuahmen?

Answer 1

Sofern Sie Selenium verwenden, um die tatsächliche Webseite zu simulieren, werden Sie nicht in der Lage sein zu simulieren „Blättern“ (wie bewegen Sie, wenn kein Fenster ist daher keine Fensterhöhe?)

Sie sagen, dass es nichts in der API, mit dem Sie Freunde von Freunden holen können, aber es scheint eine API function zu sein, die es ermöglicht, die Freundesliste eines Benutzers zu holen.

Wenn das auch nicht funktioniert, ist es die einzige Möglichkeit, den Ajax aufzuspüren, den die FB benutzt, um die nächste Freundesliste zu holen und damit weitere Informationen zu holen.