scrapy

6Hitze

2Antwort

Erstellen einer RESTful Flask-API für Scrapy

Die API sollte beliebige HTTP-Get-Anfragen mit URLs erlauben, die der Benutzer abgekratzt haben möchte, und dann sollte Flask die Ergebnisse des Scraps zurückgeben. Der folgende Code funktioniert für

10Hitze

2Antwort

Selen Webdriver/Beautifulsoup + Web Scraping + Fehler 416

Ich mache Web Scraping mit Selen Webdriver in Python mit Proxy. Ich möchte mehr als 10k Seiten einzelner Website mit diesem scraping durchsuchen. Problem verwendet diesen Proxy Ich bin in der Lage, An

10Hitze

3Antwort

Scrapy, Python: Mehrere Item-Klassen in einer Pipeline?

Ich habe einen Spider, der Daten abschabt, die nicht in einer Elementklasse gespeichert werden können. Zur Veranschaulichung habe ich ein Profilelement, und jedes Profilelement kann eine unbekannte An

5Hitze

1Antwort

Scrapy 1.0 + richtigen Einstellungen Zugriff in CsvItemExporter Sublcass?

Zuvor Einstellungen in einer Unterklasse von CsvItemExporter Zugriff, die ich brauche das Trennzeichen in den Einstellungen festgelegt zu ändern, könnte mit Hilfe getan: from scrapy.conf import settin

5Hitze

2Antwort

Scrapy: alle externen Links speichern und alle internen Links crawlen

Ich habe an einem Scrapy Web Scraper gearbeitet, der alle internen Links von einer Start-URL durchsucht und nur externe Links mit scrapy erfasst. Mein Hauptproblem ist jedoch die Klassifizierung der e

5Hitze

4Antwort

Scrapy JSON-Dateien überschreiben, anstatt die Datei anzuhängen

Gibt es eine Möglichkeit, die genannte Datei zu überschreiben anstatt sie anzuhängen? Beispiel) scrapy crawl myspider -o "/path/to/json/my.json" -t json scrapy crawl myspider -o "/path/to/json/my.js

8Hitze

1Antwort

Python schnell erstellen und Entfernen von Verzeichnissen verursachen WindowsError [Error 5] intermittierend

Ich stieß auf dieses Problem bei der Verwendung von Scrapy FifoDiskQueue. In Windows bewirkt FifoDiskQueue, dass Verzeichnisse und Dateien von einem Dateideskriptor erstellt und von einem anderen Date

6Hitze

3Antwort

Fehler beim Starten des neuen Scrapy-Projekts

Ich habe Scrapy mit den auf der Scrapy-Website bereitgestellten Ubuntu-Paketen installiert. Aber auf scrapy startproject test Ich erhalte Fehlermeldung als ein Scrapy Projekt zu starten. Traceback (

6Hitze

1Antwort

Scrapy - Retrieve Spinne Objekt in dupefilter

Dies ist standardmäßig Dupefilter Klassenmethode des scrapy request_seen class RFPDupeFilter(BaseDupeFilter): def request_seen(self, request): fp = self.request_fingerprint(request)

6Hitze

2Antwort

ImportError: Kein Modul namens win32api während der Verwendung von Scrapy

Ich bin ein neuer Anfänger von Scrapy. Ich habe Python 2.7 und alle anderen benötigten Engines installiert. Dann habe ich versucht, ein Scrapy-Projekt nach dem Tutorial http://doc.scrapy.org/en/latest