Scrapy: überschreiben DEPTH_LIMIT Variable basierend auf Wert gelesen von benutzerdefinierten Konfig

Question

Ich benutze InitSpider und lesen Sie eine benutzerdefinierte json Konfiguration innerhalb der def __init__(self, *a, **kw): Methode.

Die JSON-Konfigurationsdatei enthält eine Direktive, mit der ich die Crawling-Tiefe steuern kann. Ich kann diese Konfigurationsdatei bereits erfolgreich lesen und den Wert extrahieren. Das Hauptproblem ist, wie man scrapy sagt, diesen Wert zu verwenden.

Hinweis: Ich möchte nicht ein Befehlszeilenargument wie -s DEPTH_LIMIT=3 verwenden, ich möchte es tatsächlich von meiner benutzerdefinierten Konfiguration analysieren.

Answer 1

DEPTH_LIMIT wird in scrapy.spidermiddlewares.depth.DepthMiddleware verwendet. Da Sie sich den Code vielleicht kurz angesehen haben, sehen Sie, dass der Wert DEPTH_LIMIT nur gelesen wird, wenn Sie diese Middleware initialisieren.

Ich denke, das wäre eine gute Lösung für Sie:

1. Im __init__ Methode Ihrer Spinne, stellte eine Spinne Attribut max_depth mit Ihrem eigenen Wert.
2. Überschreiben Sie scrapy.spidermiddlewares.depth.DepthMiddleware und überprüfen Sie das max_depth Attribut.
3. Deaktivieren Sie die Standardeinstellung DepthMiddleware und aktivieren Sie Ihre eigenen in den Einstellungen.

Siehe auch http://doc.scrapy.org/en/latest/topics/spider-middleware.html

Ein kurzes Beispiel der außer Kraft gesetzten Middleware in Schritt # 2 beschrieben:

class MyDepthMiddleware(DepthMiddleware): 

    def process_spider_output(self, response, result, spider): 
    if hasattr(spider, 'max_depth'): 
     self.maxdepth = getattr(spider, 'max_depth') 
    return super(MyDepthMiddleware, self).process_spider_output(response, result, spider)