scrapy

7Hitze

1Antwort

i Scrapy ist versucht, und es gibt scrapy Shell "URL" Befehl Ausführen Konsole ipython mit einem Response-Objekt von der URL auszuführen. aber ich möchte das Ding mit Notebook zu tun. ist es eine Mögl

11Hitze

1Antwort

scrapy: html-String in HtmlResponse-Objekt konvertieren

Ich habe eine HTML-Zeichenfolge, die ich in scrapy HTML-Antwort-Objekt konvertieren möchte, so dass ich die Selektoren css und xpath verwenden kann, ähnlich wie scrapys response. Wie kann ich es tun?

5Hitze

2Antwort

Wie LinkExtractor Regel zu erstellen, die auf href in Scrapy

Ich versuche, einfache Crawler mit Scrapy (scrapy.org) zu erstellen. Gemäß Beispiel item.php ist erlaubt. Wie kann ich eine Regel schreiben, die URL erlaubt, die immer mit http://example.com/category/

12Hitze

4Antwort

Scrapy Installation schlägt fehl mit Fehler 'kann nicht öffnen gehören:' openssl/aes.h '

Ich versuche, Scrapy mit easy_install -U Scrapy zu installieren, aber es endet in einem seltsamen Fehler "Kann Include-Datei nicht öffnen" beim Versuch, es zu installieren. Weiß jemand, was vor sich g

5Hitze

1Antwort

Wie wähle ich alle untergeordneten Texte aus, aber ohne ein Tag mit Scapys XPath?

Ich habe diesen HTML: <div id="content"> <h1>Title 1</h1><br><br> <h2>Sub-Title 1</h2> <br><br> Description 1.<br><br>Description 2. <br><br> <h2>Sub-Title 2</h2>

5Hitze

1Antwort

scrapy Holen Sie sich den gesamten Text einschließlich Kinder

Ich habe eine Reihe von <p> Elemente in einem Dokument Ich kratze mit Scrapy. das sind einige: <p><span>bla bla bla</span></p> oder <p><span><span>bla bla bla</span><span>second bla bla</span></span><

6Hitze

1Antwort

Mit Argumenten in Scrapy-Pipeline auf __init__

Ich habe eine scrapy pipelines.py und ich möchte die angegebenen Argumente erhalten. In meinem spider.py funktioniert es perfekt: class MySpider(CrawlSpider): def __init__(self, host='', domain_i

11Hitze

1Antwort

Wie arbeiten Sie mit den Scrapy-Verträgen?

Scrapy Verträge Problem Ich begann mit der Arbeit am Scrapy-Framework. Implementiert einige Spinnen auch für Extraktion, aber ich bin nicht in der Lage, eine Einheit Testfall für die Spinne schreiben,

5Hitze

2Antwort

Scrapy wie Werkzeug für Nodejs?

Ich würde gerne wissen, ob es etwas wie Scrapy für nodejs gibt? Wenn nicht, was denkst du über das einfache Herunterladen und Parsen der Seite mit cheerio? Gibt es einen besseren Weg?

8Hitze

1Antwort

Starten von Scrapy aus einer Django-Ansicht

Meine Erfahrung mit Scrapy ist begrenzt, und jedes Mal, wenn ich es benutze, geschieht es immer durch die Befehle des Terminals. Wie kann ich meine Formulardaten (eine URL, die abgekratzt werden soll)