scrapy

12Hitze

2Antwort

Angenommen, ich habe eine Bookitem, ich Informationen, um es sowohl in der Parse-Phase und Detail Phase def parse(self, response) data = json.loads(response) for book in data['result']:

12Hitze

3Antwort

Wiederholt nicht scrapy und lxml zu installieren

Ich hatte zuvor Anaconda verwendet, um mit Python umzugehen, aber ich bin und arbeite mit virtuellen Umgebungen. Ich habe virtualenv und virtualenvwrapper eingerichtet und habe versucht, Module, spezi

17Hitze

2Antwort

Wie kann ich das Attribut fields_to_export in BaseItemExporter verwenden, um meine Scrapy CSV-Daten zu bestellen?

Ich habe eine einfache Scrapy Spinne gemacht, die ich von der Befehlszeile verwende, um meine Daten in das CSV-Format zu exportieren, aber die Reihenfolge der Daten scheint zufällig. Wie kann ich die

5Hitze

0Antwort

Wie schreibe ich einen DownloadHandler für scrapy, der Anfragen durch socksipy macht?

Ich versuche Scrapy über Tor zu benutzen. Ich habe versucht, mir einen Kopf zu machen, wie man einen DownloadHandler für Scrapy schreibt, der Socksipy-Verbindungen verwendet. Scrapy des HTTP11Download

11Hitze

2Antwort

Scrapy oder Selen oder Mechanize, um Web-Daten zu kratzen?

Ich möchte einige Daten von einer Website abschaben. Grundsätzlich hat die Website einige tabellarische Anzeige und zeigt rund 50 Datensätze. Für mehr Datensätze muss der Benutzer auf eine Schaltfläch

5Hitze

1Antwort

Ignorieren bereits besuchte URLs in scrapy

Das ist meine custom_filters.py Datei: from scrapy.dupefilter import RFPDupeFilter class SeenURLFilter(RFPDupeFilter): def __init__(self, path=None): self.urls_seen = set() RFPDupe

17Hitze

3Antwort

Wie funktionieren Scrapy-Regeln mit Crawl Spider

Ich habe es schwer zu verstehen, Scrapy Crawl Spider-Regeln. Ich habe ein Beispiel, das nicht so funktioniert, wie ich es möchte, so kann es zwei Dinge sein: Ich verstehe nicht, wie Regeln funktionier

25Hitze

4Antwort

Führen Sie eine Scrapy-Spinne in einer Sellerie-Aufgabe

This is not working anymore, Scrapy API hat sich geändert. Jetzt die Dokumentation Feature einen Weg zu "", aber ich bekomme die ReactorNotRestartable Fehler. Meine Aufgabe: from celery import Task

6Hitze

3Antwort

Kann Scrapy an PHP arbeiten?

Kann ich Scrapy auf PHP verwenden oder gibt es ähnliche Tools, die mit PHP arbeiten? Ich bin nicht eine technische Person, sondern nur die zur Verfügung stehende Web Erforschung Werkzeuge und ihre Fun

6Hitze

2Antwort

Wie scrapy verwenden, um mehrere Seiten zu crawlen?

Alle Beispiele, die ich von Scrapy fand, sprechen darüber, wie man eine einzelne Seite, Seiten mit demselben URL-Schema oder alle Seiten einer Website crawlen kann. Ich brauche Reihe von Seiten zu kri