scrapy

6Hitze

2Antwort

Python Scrapy - populate start_urls von mysql

Ich versuche, start_url mit einem SELECT aus einer MySQL-Tabelle mit spider.py zu füllen. Wenn ich "scrapy runspider spider.py" starte, bekomme ich keine Ausgabe, nur dass es ohne Fehler beendet wurde

7Hitze

1Antwort

Scrapy: Begrenzen Sie die Anzahl der Anfrage oder Anfrage Bytes

Ich benutze eine scrapy CrawlSpider und definierte einen verdrehten Reaktor, um meine Crawler zu steuern. Während der Tests habe ich eine Nachrichtenwebsite gecrawlt, auf der mehr als mehrere GB Daten

10Hitze

5Antwort

Wie man verschiedene scrapy-Einstellungen für verschiedene Spinnen einstellt?

Ich möchte einige HTTP-Proxy für einige Spinnen aktivieren und sie für andere Spinnen deaktivieren. Kann ich so etwas tun? # settings.py proxy_spiders = ['a1' , b2'] if spider in proxy_spider: #how

13Hitze

2Antwort

Python Scrapy auf offline (lokale) Daten

Ich habe ein 270MB-Dataset (10000 HTML-Dateien) auf meinem Computer. Kann ich Scrapy verwenden, um dieses Dataset lokal zu crawlen? Wie?

5Hitze

1Antwort

Wie baue ich meinen Scrapy Spider mit py2exe in eine EXE-Datei?

Ich benutze Scrapy, um ein Projekt zu erstellen und meine eigene Spinne, sagen "spider_us.py", in den "spiders" -Ordner, und ich möchte eine EXE-Datei erstellen, die auf anderen Computern ausgeführt w

11Hitze

2Antwort

Proxy-IP für Scrapy-Framework

Ich entwickle ein Web-Crawling-Projekt mit Python und Scrapy Framework. Es kriecht approx 10k Webseiten von E-Commerce-Shopping-Websites. Das ganze Projekt funktioniert gut, aber bevor ich den Code vo

7Hitze

1Antwort

Scrapy: Wie Liste von Argumenten durch Eingabeaufforderung Spinne zu übergeben?

einen Schaber für Fantasie Team anlegen. Suchen Sie nach einer Möglichkeit, eine Liste der Spielernamen als Argument zu übergeben, und dann für jeden player_name in player_list den Parsing-Code auszuf

7Hitze

2Antwort

Python Scrapy nicht wiederholt nicht Timeout Verbindung

Ich habe einige Proxies verwendet, um einige Website zu kriechen. Hier ist ich in der settings.py tat # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since p

5Hitze

5Antwort

Wie scrappe website mit infinte scrolling?

Ich möchte this website crawlen. Ich habe eine Spinne geschrieben, aber es kriecht nur die Titelseite, d. H. Die Top 52 Artikel. Ich habe diesen Code versucht: from scrapy.spider import BaseSpider fr

7Hitze

1Antwort

Wie nächste Knoten mit scrapy

wählen Ich habe html wie folgt aussieht: <h1>Text 1</h1> <div>Some info</div> <h1>Text 2</h1> <div>...</div> Ich verstehe, wie von h1 mit scrapy Informationen zu extrahieren: content.select("//h1