Dynamisch pipelline Präsenz in scrapy

Question

einstellen derzeit I

custom_settings = { "ITEM_PIPELINES" : { ... } } 

Pipelines pro-Spinne setzen verwenden. Als nächstes muss ich für bestimmte Start-URLs einige Pipelines ausschließen. Ich erkenne dies in __init__. Versucht, custom_settings neu zuzuweisen, aber das hat nicht funktioniert. Ist es möglich, die Pipeline-Liste dynamisch zu ändern?

Answer 1

Nein, AFAIK Die benutzerdefinierten Einstellungen können während des Laufs der Spinne nicht geändert werden.

Die Lösung, die Sie hier suchen, besteht darin, die Erkennungslogik den Pipelines selbst hinzuzufügen. Fügen Sie zum Beispiel ein zusätzliches Feld zu dem Element _to_pipeline2 hinzu und brechen Sie Ihre Pipeline, wenn sie nicht vorhanden ist.
Zum Beispiel:

def parse(self, response): 
    item = MyItem() 
    #.... 
    if item_should_be_pipelined: 
     item['_to_pipeline2'] = True 
    return item 

und in der Pipeline:

def process_item(self, item, spider): 
    if not item.get("_to_pipeline2", False): 
     return item # do not use this pipeline 
    # normal pipeline continues otherwise 
    del item['_to_pipeline2'] 

oder für Ihren Fall:

def process_item(self, item, spider): 
    if 'http://stackoverflow.com' in spider.start_urls: 
     return item # do not use pipeline 
    # otherwise execute pipeline code here