scrapy

7Hitze

4Antwort

Paketabhängigkeiten für Scrapy installieren

Unter den vielen Paketen, die Benutzer für Scrapy installieren müssen, habe ich Probleme mit pyOpenSSL. Wenn ich versuche, ein Tutorial Scrapy Projekt angelegt zu bekommen, bekomme ich diese folgende

5Hitze

1Antwort

Get xpath(), um leere Werte zurück

ich eine Situation, wo ich eine Menge Tags haben: 12 13 14 121 Wie Sie sehen können, der zweite letzte Tag ist leer. Als ich nennen: sel.xpath('b/text()')

5Hitze

2Antwort

Scrapy: Wie kann ich einen Download-Fehler erkennen und erneut herunterladen?

Während meines Crawlings sind einige Seiten aufgrund einer unerwarteten Umleitung fehlgeschlagen und es wurde keine Antwort zurückgegeben. Wie kann ich diese Art von Fehler abfangen und eine Anfrage m

5Hitze

1Antwort

Pass zusätzliche Werte zusammen mit URLs zu Scrapy Spider

Ich habe eine Liste von Tupeln in Form (ID, URL) Ich muss ein Produkt aus einer Liste von URLs zu kriechen, und wenn diese Produkte gecrawlt werden muss ich speichern sie in der Datenbank unter ihrer

5Hitze

2Antwort

python und scrapy DAS Kodierungsproblem

Ich kann einfach nicht herausfinden! :( Mir Verschrottung von Daten aus einem utf-8-codierten Ort, gut, dass zumindest ist das, was es sagt: Content-Type: text/html;charset=utf-8 Ich erhalte eine Li

9Hitze

1Antwort

Befehl ‚gcc‘ fehlgeschlagen mit Exit-Status 1 Fehler beim scrapy Installation

Wenn ich Scrapy installieren möchten treffe ich diesen Fehler: warning: no previously-included files found matching '*.py' Requirement already satisfied (use --upgrade to upgrade): pyOpenSSL in /usr/

5Hitze

1Antwort

Wenn ich einen 500 internen Serverfehler in Scrapy bekomme, wie überspringe ich die URL?

ich Schabe Daten von mehreren tausend Seiten mit der allgemeinen URL: http://example.com/database/?id=(some number) wo ich durch die ID-Nummern leite. Ich begegne immer wieder großen Stücken von URL

8Hitze

3Antwort

Fehler beim scrapy Installation

Ich versuche scrapy zu installieren, gibt es folgende Fehlermeldung: Downloading/unpacking cryptography>=0.2.1 (from pyOpenSSL->Scrapy) Running setup.py egg_info for package cryptography Pac

27Hitze

1Antwort

Python Keines Modul namens service_identity

Ich versuchte scrapy zu aktualisieren und als ich versuchte, die Version, die ich bekam den folgenden Fehler C:\Windows\system32>scrapy version -v :0: UserWarning: You do not have a working installat

5Hitze

1Antwort

Scrapy Shell bekommt 301 URL umgeleitet, ohne Parameter

Scrapy können Anforderungs-URLs mit GET Parameter interaktiv die Antwort zu erkunden: scrapy shell "https://duckduckgo.com/?q=foo" Aber mit einigen Websites, bekommt meine Anfrage 301 umgeleitet und