scrapy

-2Hitze

1Antwort

Wie listet ich die URLs auf meiner Website auf, die ein Keyword auf der Seite mit scrapy haben?

Ich versuchte this es listet alle URLs in meiner Website auf. from scrapy.selector import HtmlXPathSelector from scrapy.spider import BaseSpider from scrapy.http import Request DOMAIN = 'e

1Hitze

1Antwort

Python scrapy Seite funktioniert nicht mit Xpath

Ich benutze Python 3.5, um eine HTML-Zeichenfolge zu verwerfen, um Name in dieser HTML-Zeichenfolge zu extrahieren. Mein Code ist wie folgt: from scrapy.selector import Selector html_string = '<html

2Hitze

1Antwort

Scrapy Login Authentifizierung funktioniert nicht

Ich habe gerade angefangen mit Scrapy zu spielen. Ich versuche eine Website zu crawlen, die eine Anmeldung erfordert. Ich habe es gut für Github funktioniert. Ich fand die Formular-ID, fügte die erfor

2Hitze

1Antwort

Wie bekomme ich/krieche alle Bewertungen von Apps im Play Store oder App Store, bekomme ich nur die ersten 40 Bewertungen?

Ich benutze Python dafür. Ich werde Shop-URL für eine App dann analysiert den Körper in Baum spielen, Daten mit XPath reviews = parsed.xpath('//div[@class="single-review"]//div[@class="review-body wit

0Hitze

1Antwort

Scrapy - wie man eine Website mit einer Baumstruktur crawlen und die Struktur in der outputed JSON-Datei behalten

Ich versuche, eine Website mit einer Baumstruktur zu crawlen, und ich möchte diese Baumstruktur in der outputed JSON-Datei neu erstellen . Alle Seiten haben die gleiche Struktur, und ich habe einige F

4Hitze

1Antwort

Wie viele Gegenstände wurden pro start_url geschabt

Ich benutze Scrapy, um 1000 URLs zu kriechen und kratzte Gegenstände in einem Mongodb zu lagern. Ich würde wissen, wie viele Artikel für jede URL gefunden wurden. Von scrapy stats kann ich sehen 'item

0Hitze

2Antwort

Verwenden von scrapy zum Extrahieren mehrerer Daten in Tabelle td Elemente

Ich bin neu zu scrapy und versuchen, es zu verwenden, um die folgenden Daten zu extrahieren "Name", "Adresse", "Status", "Post-Code" aus dem Beispiel HTML-Code unten : <div id="superheroes"> <table w

0Hitze

1Antwort

Importieren von Headern und Payload in Scrapy

Ich habe mit Firebug gearbeitet und ich habe die folgenden Wörterbücher, um eine API abzufragen. payload = "{\"prefixText\":\"2261\",\"count\":\"10 \"}" headers = { 'origin': "site.com", 'x-reques

0Hitze

1Antwort

ProgrammingError: Spalte "Spalte" der Beziehung "Schema" existiert nicht

Ich befolge dieses Tutorial über die Verwendung von Scrapy mit Postgres . Ich bin neu bei Postgres und sehr vertraut mit Scrapy. Nirgendwo in der Anleitung heißt es etwas über Migrationen, also denke

0Hitze

1Antwort

scrapy CONCURRENT_REQUESTS ignoriert, wenn DOWNLOAD_DELAY gesetzt ist?

an den scrapy Statistiken der Suche (Crawled X pages (at X pages/min)) scheint mir, dass so bald wie, z.B .: DOWNLOAD_DELAY = 4.5 nicht die Anforderungen werden sequentiell gesetzt ist ganz gleich,