screen-scraping

8Hitze

1Antwort

Erhalten von statischen HTML-Dateien von Wikipedia XML-Dump

Ich würde gerne in der Lage sein, relativ aktuelle statische HTML-Dateien aus der enormen (auch wenn komprimiert) Englisch Wikipedia XML-Dump-Datei enwiki-latest-pages-articles.xml.bz2 I heruntergelad

9Hitze

2Antwort

Mehrere scrapy spiders gleichzeitig mit scrapyd

Ich verwende scrapy für ein Projekt, wo ich eine Reihe von Websites - möglicherweise Hunderte - kratzen und ich muss eine bestimmte Spinne für jede Website schreiben. Ich kann ein Spinne in einem Proj

2Hitze

1Antwort

Erhalte eine Ausnahme "SSLPeerUnverifiedException: Peer nicht authentifiziert", wie kann ich es vermeiden/ignorieren?

Ich versuche mich mit HtmlUnit (Java Library) an einer Website anzumelden und erhalte eine Ausnahme, die ich einfach ignorieren könnte. Die Ausnahme ist "javax.net.ssl.SSLPeerUnverifiedException: Peer

6Hitze

2Antwort

Nokogiri: Wie finde ich ein Div nach ID und sehe, welchen Text es enthält?

Ich habe gerade angefangen Nokogiri heute Morgen mit und ich frage mich, wie eine einfache Aufgabe erfüllen: Ich muss nur eine Webseite für ein div wie folgt suchen: <div id="verify" style="display:no

0Hitze

1Antwort

Erhalten Sie Benutzerinformationen auf der Facebook-Profilseite

Ich möchte eine sehr grundlegende C# -Anwendung erstellen, die öffentlich verfügbare Informationen für Facebook-Benutzerprofile abrufen kann. Ich habe ein paar Seiten von Graph API gelesen, aber es gi

5Hitze

1Antwort

JTidy oder Jsoup für Java

Vor kurzem habe ich Web Scraper in Python mit BeautifulSoup entwickelt. Jetzt möchte ich wissen, welche Bibliotheken in Java am meisten bevorzugt werden. Ich habe eine Suche gemacht, meistens sehe ich

25Hitze

3Antwort

Webseiten mit unendlichem Scrollen scrollen

Ich habe viele Scraper geschrieben, aber ich bin mir nicht sicher, wie ich mit Scrollern umgehen soll. Heutzutage hat Facebook, Pinterest, die meisten Webseiten usw. unendlich viele Scroller.

5Hitze

3Antwort

Wie schaben Sie von einer Website, für die Anmeldeinformationen (SSL) erforderlich sind?

Ich habe mich gefragt, ob mir jemand in die richtige Richtung zeigen kann. Ich möchte HTML-/Textinhalte von einer SSL-fähigen Website (https in der URL) scrappen. Es wird mehrere Verzweigungen im Date

6Hitze

1Antwort

Wie programmiere ich eine POST-Anfrage in Python mit einer GUI? (spynner, webkit ...)

Ich habe eine Website mit flash Formen, die ich brauche kratzen. Anstatt die flash Formulare zu füllen, möchte ich POST einige Schlüssel/Werte zu der URL, die GET Anfragen nicht unterstützt. I spynner

7Hitze

4Antwort

Wie kratze ich etwas, nachdem JS das DOM geändert hat?

Ich benutze Mechanize, obwohl ich offen für Nokogiri bin, wenn Mechanize das nicht kann. Ich möchte die Seite kratzen, nachdem alle Skripte im Gegensatz zu zuvor geladen wurden. Wie könnte ich das tun