scrapy

2Hitze

1Antwort

Wie scrapped Artikel aus Hauptskript mit Scrapy erhalten?

Ich hoffe, eine Liste der abgekratzten Elemente im Hauptskript zu erhalten, anstatt Scrapy Shell zu verwenden. Ich weiß, es gibt eine Methode parse in Klasse FooSpider ich definiere, und diese Methode

2Hitze

1Antwort

Scrapy-Verträge mit mehreren Parse-Methoden

Was ist der beste Ansatz zum Schreiben von Verträgen für Scrapy-Spider, die mehr als eine Methode zum Analysieren der Antwort haben? Ich sah dies answer, aber es klang nicht sehr klar für mich. Mein a

0Hitze

1Antwort

PyCharm Anruf Tipps funktionieren nicht in scrapy

enter image description here nicht alle Methode zeigen, für die Antwort PyCharm Version: PyCharm Community Edition 2016,1 Python-Version: 2.7.1

0Hitze

1Antwort

Dynamisch pipelline Präsenz in scrapy

einstellen derzeit I custom_settings = { "ITEM_PIPELINES" : { ... } } Pipelines pro-Spinne setzen verwenden. Als nächstes muss ich für bestimmte Start-URLs einige Pipelines ausschließen. Ich erkenne

2Hitze

2Antwort

Python - Globaler Name ist nicht definiert

Ich verspreche, ich habe die anderen Versionen dieser Frage durchgelesen, aber ich konnte keine relevante für meine Situation finden. Wenn es eins gibt, entschuldige ich mich, ich habe das jetzt für e

0Hitze

1Antwort

Fehler mit Links in scrapy

Ich möchte einige Links zu einer Nachrichten-Website zu kratzen und erhalten Sie die vollständigen Nachrichten. Allerdings sind die Links relativ Die Nachrichten-Website ist http://www.puntal.com.ar/v

3Hitze

2Antwort

Scrapy Regeln funktionieren nicht, wenn process_request und Callback-Parameter

gesetzt habe ich diese Regel für scrapy CrawlSpider rules = [ Rule(LinkExtractor( allow= '/topic/\d+/organize$', restrict_xpaths = '//div[@id= "zh-topic-organize-child-editor"]'

1Hitze

1Antwort

Scrapy Python-Code zur Liste der URLs scheint nicht zu funktionieren, wie erhofft

Ich versuche, einen Code zu schreiben, um die Website eines britischen Hausbauers zu verschrotten, um eine Liste von Häusern zum Verkauf aufzunehmen. Ich beginne auf der Seite http://www.persimmonhome

1Hitze

2Antwort

scrapy kein HTML-Element erkennen, aber es ist auf der Quellseite sichtbar

Ich habe eine Anfrage funktioniert normal auf regulären Browsern aber nicht auf in scrapy Shell. Ein ganzer HTML-Block wird verschwinden, sobald ich "scrapy shell" oder "scrapy crawl" benutze. Ich bin

1Hitze

1Antwort

Python Scrapy: TypeError: to_bytes muss ein Unicode-, str- oder bytes-Objekt erhalten, int int

Ich weiß nicht, was mit diesem Code nicht stimmt. Ich versuche, Daten von 99acres.com zu kratzen. Ich habe die Post-Parameter übergeben. Dies ist der Code from scrapy import Spider from scrapy.http i