Wie kann man eine Scrapy-Pipeline debuggen?

Question

Ich folge this tutorial, um zu lernen, wie man scrapy und mongodb zusammen benutzt. Ich erhalte jedoch immer wieder folgende Fehlermeldungen:

[Anaconda2] C:\Users\Segovia\Dropbox\stack>scrapy crawl stack 
Traceback (most recent call last): 
    File "c:\users\segovia\anaconda2\lib\runpy.py", line 162, in _run_module_as_main 
    "__main__", fname, loader, pkg_name) 
    File "c:\users\segovia\anaconda2\lib\runpy.py", line 72, in _run_code 
    exec code in run_globals 
    File "C:\Users\Segovia\Anaconda2\Scripts\scrapy.exe\__main__.py", line 9, in <module> 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\cmdline.py", line 108, in execute 
    settings = get_project_settings() 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\utils\project.py", line 60, in get_project_settings 
    settings.setmodule(settings_module_path, priority='project') 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\settings\__init__.py", line 285, in setmodule 
    self.set(key, getattr(module, key), priority) 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\settings\__init__.py", line 260, in set 
    self.attributes[name].set(value, priority) 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\settings\__init__.py", line 55, in set 
    value = BaseSettings(value, priority=priority) 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\settings\__init__.py", line 91, in __init__ 
    self.update(values, priority) 
    File "c:\users\segovia\anaconda2\lib\site-packages\scrapy\settings\__init__.py", line 317, in update 
    for name, value in six.iteritems(values): 
    File "c:\users\segovia\anaconda2\lib\site-packages\six.py", line 599, in iteritems 
    return d.iteritems(**kw) 
AttributeError: 'list' object has no attribute 'iteritems' 

Kann mir jemand sagen, was möglicherweise schief gelaufen ist? Oder kann mir jemand einen Hinweis geben, wie ich es debuggen kann? Ich habe die "parse" -Methode ausprobiert, die auf der offiziellen scrapy-Dokumentation zur Verfügung gestellt wurde, aber es hat nicht für mich funktioniert. Um es zu debuggen, hoffe ich, dass ich eine IDE verwenden kann und diese Codes einchecke und überprüfe, was im Detail passiert. Vielen Dank!

Die settings.py Datei hat diese Zeilen in es:

ITEM_PIPELINES = ['stack.pipelines.MongoDBPipeline', ] 

MONGODB_SERVER = "localhost" 
MONGODB_PORT = 27017 
MONGODB_DB = "stackoverflow" 
MONGODB_COLLECTION = "questions" 

Und ich bin sicher, dass 'mongod' in einem anderen cmd Fenster ausgeführt wird.

Answer 1

Schauen wir uns den Fehler:

AttributeError: 'list' object has no attribute 'iteritems'

An diesem Teil Ihrer Projekteinstellungen:

ITEM_PIPELINES = ['stack.pipelines.MongoDBPipeline', ]

Und an diesem documentation page.

Scrapy erwartet ITEM_PIPELINES ein Wörterbuch zu sein und Sie geben es eine Liste. Fix it:

ITEM_PIPELINES = {'stack.pipelines.MongoDBPipeline': 300}