web-scraping

50Hitze

11Antwort

Ich arbeite an einer App, die Daten von einer Website kratzt und ich fragte mich, wie ich die Daten bekommen sollte. Insbesondere muß ich in einer Reihe von div-Tags enthaltenen Daten, die eine bestim

10Hitze

10Antwort

Web Scraping mit Python

Ich versuche gerade, eine Website zu kratzen, die ziemlich schlecht formatiert HTML hat (häufig fehlende schließende Tags, keine Verwendung von Klassen oder IDs, so dass es unglaublich schwierig ist,

5Hitze

4Antwort

Python, Multithreads, Webseiten abrufen, Webseiten herunterladen

Ich möchte Webseiten in einer Site herunterladen. In meiner 'urls.txt' Datei befinden sich 5000000 URL Links. Es ist ungefähr 300 Millionen. Wie kann man diese URLs mit einem Multithread verlinken und

24Hitze

2Antwort

Wie benutze ich CrawlSpider von scrapy, um auf einen Link mit Javascript onclick zu klicken?

ich scrapy wollen Seiten kriechen, wo sieht los, um zum nächsten Link wie folgt: <a href="#" onclick="return gotoPage('2');"> Next </a> Wird Scrapy der Lage sein, JavaScript-Code von dem zu interpre

1Hitze

2Antwort

Wie kann man am besten eine Website durchsuchen und Daten in PHP abrufen?

Versuchen, etwas mehr PHP zu lernen. Hier ist was ich suche. Im Wesentlichen möchte ich eine Website suchen und Daten auf meine eigene Website zurückgeben. Fügen Sie einem Formular ein paar Schlüsselw

129Hitze

4Antwort

Scrapping von HTML-Tabellen in R-Datenrahmen mit dem XML-Paket

Wie scrape HTML-Tabellen mit dem XML-Paket? Nehmen Sie zum Beispiel diese Wikipedia-Seite auf der Brazilian soccer team. Ich würde es gerne in R lesen und die Tabelle "Liste aller Spiele, die Brasilie

5Hitze

1Antwort

ASP HttpWebRequest und Redirect

OK, ich habe einen Client einen POST zu einem Server mit einigen Daten. Der Server empfängt den Post und antwortet mit einer Weiterleitung. Das Problem ist, dass der Client nicht umleitet. Außerdem ha

1Hitze

2Antwort

Python wählt einen Wert in einem Kombinationsfeld und HTTP POST

In Python versuche ich die Werte auf http://utahcritseries.com/RawResults.aspx zu lesen. Wie kann ich andere Jahre als den Standard von 2002 lesen? Bisher konnte ich mithilfe von mechanize auf SELECT

22Hitze

5Antwort

Wie programmiere ich mich programmatisch auf einer Website für screenscape?

Ich brauche einige Informationen von einer Website, die nicht mir gehört, um diese Informationen zu erhalten, muss ich mich auf der Website anmelden, um die Informationen zu sammeln, geschieht dies üb

9Hitze

1Antwort

Verwenden von Urlib und BeautifulSoup zum Abrufen von Informationen aus dem Web mit Python

Ich kann die HTML-Seite mit Urllib, und BeautifulSoup zum Parsen der HTML-Seite, und es sieht so aus, dass ich die Datei aus BeautifulSoup zu lesen generiert werden muss. import urllib sock