scrapy

1Hitze

3Antwort

Im Versuch, die Antwort auf diese Website mit einer vorgefüllten Reißverschluss zu kratzen: zip who (dh die Postleitzahl ist bereits ausgefüllt.) Ich habe versucht, dies zu tun, um die scrapy-Shell wi

0Hitze

1Antwort

Jede Möglichkeit, weitere Anfragen in einer Webseite zu verfolgen?

Ich muss eine Webseite mit intensiven Ajax herunterladen. Momentan verwende ich Scrapy mit Ajaxenabled. Nachdem ich diese Antwort geschrieben habe, und öffne sie im Browser. Es werden noch einige Anfr

0Hitze

2Antwort

Scrapy Wie überprüfen, ob bestimmte Klasse in einem bestimmten Element existiert

<li class="a">category1</li> <li>subcatergory1</li> <li>subcatergory2</li> <li class="a">category2</li> <li>subcatergory1</li> <li>subcatergory2</li> Ich bin durch eine ul Looping, die zwei Art

0Hitze

1Antwort

Python Selen wählen nur ein Element in einer Listbox

ListBox (kein Tropfen downlist) wie folgt: <select name="lstym" onChange="SubmitForm(this.form,'ym')" multiple size="5"> <option value="All" selected>All</option> <option value="201601">2016

-1Hitze

1Antwort

Warum wird diese Bedingung auf false ausgeführt, wenn sie auf true ausgeführt werden soll?

Ich habe diesen Code in meiner Spinne basic.py Datei: if l.add_xpath('price', '//*[@id="price"]/text()', MapCompose(lambda i: i.replace(',', ''), float), re = '[,.0-9]'): l.add_valu

0Hitze

2Antwort

Selen innerhalb von Scrapy funktioniert nicht

Ich habe eine scrapy Crawlspider, die Links analysiert und HTML-Inhalt zurückgibt gut. Bei JavaScript-Seiten habe ich Selenium allerdings dazu aufgerufen, auf den "versteckten" Inhalt zuzugreifen. Das

-1Hitze

1Antwort

scrapy Fehler Import: Kein Modul Artikel

ich will dem Namen Raupen-Website this link aber wenn ich Crawler mit dem Befehl scrapy crawl metacritic -o metacritic.json -t json seine sagt ImportError: No module named items jemand helfen nicht

0Hitze

1Antwort

Warum bekomme ich ein leeres Array mit (scrapy shell response.xpath())?

Ich frage mich, warum response.xpath() ein leeres Array [] in this page zurückgibt, auch wenn ich tun response.xpath('//div').extract()! Beispiel: $ scrapy shell https://www.amazon.cn/b/2127529051 ..

0Hitze

2Antwort

Twisted Import Fehler bei der Verwendung von Scrapy in Python 3

Ich habe den folgenden Fehler beim Versuch, Scrapy in Python 3 zu verwenden. Ich benutze Ubuntu 16.04 und die Installation python3-twisted hat das Problem nicht gelöst. File "/home/fran/.local/lib/pyt

2Hitze

1Antwort

Wie kann ich meine Spinnen in verschachtelten Verzeichnissen in Scrapy organisieren?

Ich habe die folgende Verzeichnisstruktur: my_project/ __init__.py spiders/ __init__.py my_spider.py other_spider.py pipeines.py # other files Im Moment kann ich i