scrapy

5Hitze

1Antwort

Ich möchte einen Crawler erstellen, der die URL einer Webseite nimmt, die zu scrapped wird, und das Ergebnis zurück an eine Webseite sendet. Im Moment beginne ich mit dem Scrapy vom Terminal und speic

6Hitze

3Antwort

Wie erstellt man das Scrapy-Projekt von python3

Ich benutze Mac OS, es hat Python 2.7 und Python 3.4. Ich verwende den pip install Befehl, um scrapy in Python 2.7 zu installieren. Buy Ich benutze auch den pip3 install Befehl, um scrapy in python3.4

5Hitze

1Antwort

Scrapy `ReactorNotRestartable`: Eine Klasse, um zwei (oder mehr) Spider auszuführen

Ich sammle tägliche Daten mit Scrapy unter Verwendung eines zweistufigen Crawls. Die erste Stufe erzeugt eine Liste von URLs von einer Indexseite und die zweite Stufe schreibt das HTML für jede der UR

6Hitze

1Antwort

Wie mehrere Argumente an Scrapy Spider übergeben werden (Fehler beim Ausführen von 'Scrapy Crawl' mit mehr als einer Spinne wird nicht mehr unterstützt)?

Ich möchte mehrere benutzerdefinierte Argumente meiner scrapy spyder passieren, so dass ich versuchte, diesen Beitrag zu folgen: How to pass a user defined argument in scrapy spider Allerdings, wenn i

9Hitze

1Antwort

Scrapy mit TOR (Windows)

Ich habe ein Scrapy-Projekt mit mehreren Spinnen erstellt, um einige Websites zu crawlen. Jetzt möchte ich TOR zu verwenden: Verstecke meine IP von den gecrawlt Servern; Verknüpfen Sie meine Anforderu

5Hitze

2Antwort

Wie kann ich Fehler mit scrapy abfangen, damit ich etwas tun kann, wenn der User Timeout Fehler auftritt?

ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Ich bekomme dieses Problem hin und wieder bei der Verwendung meiner Schaber. Gibt es eine Möglichkeit, dieses Problem

10Hitze

2Antwort

Scrapy Crawler erwischt Ausnahme lesen Instanz Daten

Ich bin neu in Python und möchte Scrapy verwenden, um einen Web-Crawler zu erstellen. Ich gehe durch das Tutorial in http://blog.siliconstraits.vn/building-web-crawler-scrapy/. Spider-Code mag folgend

5Hitze

1Antwort

Stoppen Sie Scrapy nach N Artikel geschabt

Ich habe Probleme mit Scrapy. Ich benötige Code, der bis zu 1000 interne Links pro gegebener URL verschrotten kann. Mein Code funktioniert, wenn er an der Befehlszeile ausgeführt wird, aber die Spinne

7Hitze

4Antwort

Python, Scrapy, Pipeline: Funktion "process_item" wird nicht aufgerufen

Ich habe einen sehr einfachen Code, unten gezeigt. Scraping ist in Ordnung, ich kann alle print Anweisungen sehen, die korrekte Daten erzeugen. In Pipeline funktioniert die Initialisierung einwandfrei

6Hitze

2Antwort

InterfaceError: Verbindung bereits geschlossen (mit Django + Sellerie + Scrapy)

Ich bekomme dies, wenn ich eine Scrapy-Parsing-Funktion (die bis zu 10 Minuten dauern kann) innerhalb einer Sellerie-Aufgabe benutze. Ich benutze: - Django == 1.6.5 - django-Sellerie == 3.1.16 - Selle