web-scraping

5Hitze

1Antwort

Ich arbeite an einem Data Mining Projekt und möchte historische Wetterdaten sammeln. Ich bin in der Lage, historische Daten über die Webschnittstelle zu erhalten, die sie unter http://www.ncdc.noaa.go

6Hitze

2Antwort

Umgehung Cloudflare Scrapeshield

Ich arbeite an einem Webscraping-Projekt, und ich habe Probleme mit Cloudflare Scrapshield. Weiß jemand, wie man das schafft? Ich benutze den Selen-Webdriver, der von Scrapshield auf eine Lightspeed-S

6Hitze

3Antwort

Kann Scrapy an PHP arbeiten?

Kann ich Scrapy auf PHP verwenden oder gibt es ähnliche Tools, die mit PHP arbeiten? Ich bin nicht eine technische Person, sondern nur die zur Verfügung stehende Web Erforschung Werkzeuge und ihre Fun

5Hitze

2Antwort

Python, suchen und klicken Sie auf eine bestimmte Schaltfläche mit Selen

Mit Python und Selen muss ich suchen und klicken Sie auf eine bestimmte Schaltfläche auf einer Webseite. Dies kann unter normalen Umständen mit den Befehlen erfolgen, die in diesem Fall aufgrund der C

7Hitze

1Antwort

Scrapy: Wie Liste von Argumenten durch Eingabeaufforderung Spinne zu übergeben?

einen Schaber für Fantasie Team anlegen. Suchen Sie nach einer Möglichkeit, eine Liste der Spielernamen als Argument zu übergeben, und dann für jeden player_name in player_list den Parsing-Code auszuf

7Hitze

2Antwort

Python Scrapy nicht wiederholt nicht Timeout Verbindung

Ich habe einige Proxies verwendet, um einige Website zu kriechen. Hier ist ich in der settings.py tat # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since p

5Hitze

5Antwort

Wie scrappe website mit infinte scrolling?

Ich möchte this website crawlen. Ich habe eine Spinne geschrieben, aber es kriecht nur die Titelseite, d. H. Die Top 52 Artikel. Ich habe diesen Code versucht: from scrapy.spider import BaseSpider fr

5Hitze

1Antwort

Selenium Webdriver vs Jsoup - Wann zu verwenden

Ich muss oft Testfälle auf einer Website ausführen, die ich arbeite. Meistens muss ich nur überprüfen, ob ein Element auf einer Site existiert, oder ich muss ein paar Daten der Site scrappen. Bis jetz

10Hitze

4Antwort

Jedes Java-Pendant zu PhantomJS?

Ich würde gerne wissen, ob es eine Java-Bibliothek gibt, die PhantomJS entspricht. Was ich erreichen möchte, ist in der Lage zu sein, Formular-Login zu simulieren und Aktionen von einer Webseite zu se

11Hitze

2Antwort

Scrapy oder Selen oder Mechanize, um Web-Daten zu kratzen?

Ich möchte einige Daten von einer Website abschaben. Grundsätzlich hat die Website einige tabellarische Anzeige und zeigt rund 50 Datensätze. Für mehr Datensätze muss der Benutzer auf eine Schaltfläch