Warum bekomme ich ein leeres Array mit (scrapy shell response.xpath())?

Question

Ich frage mich, warum response.xpath() ein leeres Array [] in this page zurückgibt, auch wenn ich tun response.xpath('//div').extract()! Beispiel:

$ scrapy shell https://www.amazon.cn/b/2127529051 
... 
>>> response.xpath('//div').extract() 
[] 

kann ich einige Ergebnisse aus der Homepage zu bekommen, aber ich kann keine Ergebnisse von vielen anderen Seiten.

BTW, Ich versuche nicht, amazon oder etwas zu kriechen, es ist nur für Lernzwecke.

Ich habe auch andere Seiten ausprobiert, aber ich habe dieses Problem nicht, also möchte ich wissen warum.

Irgendwelche Ideen?

dank

Answer 1

response.xpath('\\div').execute()

Diese Linie ist einfach falsch. Zuerst verwenden Sie hier Front-Schrägstriche statt Back-Schrägstriche. Auch execute() ist keine Methode von Selector oder SelectorList Objekte (das sind die Werte, die von response.xpath() -Methode zurückgegeben werden).

Versuchen: response.xpath("//div").extract()

Anders als der Code gebrochen es eine gute Praxis ist Javascript zu deaktivieren und führen view(response) genau zu sehen, was Ihre Spinne sieht. In einigen Fällen wird Ihre Spinne möglicherweise nicht einmal "//div[@id='name']" sehen, weil sie mit Javascript geladen wird.