Inhalt leer bei der Verwendung von scrapy

Question

Vielen Dank für alle im Voraus. Ich habe ein Problem bei der Verwendung von Scrapy auf Python 2.7 festgestellt. Die Webseite, die ich zu crawlen versuchte, ist a discussion board for Chinese stock market. Als ich versuchte, die erste Nummer "42177" direkt unter dem Banner dieser Seite zu bekommen (die Nummer, die Sie auf dieser Webseite sehen, ist möglicherweise nicht die Nummer, die Sie hier sehen, weil sie die Anzahl der Male in diesem Artikel darstellt gelesen und in Echtzeit aktualisiert ...), bekomme ich immer einen leeren Inhalt. Ich bin mir bewusst, dass dies das Problem mit dynamischen Inhalten sein könnte, aber ich habe noch keine Ahnung, wie ich es richtig crawlen kann.

Der Code, den ich verwendet:

item["read"] = info.xpath("div[@id='zwmbti']/div[@id='zwmbtilr']/span[@class='tc1']/text()").extract() 

ich denke, die XPath richtig eingestellt ist, und ich habe den Rückgabewert dieser Antwort überprüft, und es hat mir gesagt, in der Tat, dass es nichts unter das ist Verzeichnis. Ergebnisse hier gezeigt: 'read': [u'<div id="zwmbtilr"></div>']

Wenn es etwas hat, sollte es etwas zwischen <div id="zwmbtilr"> und </div> geben.

Wirklich dankbar, wenn Sie irgendwelche Gedanken dazu teilen!

Answer 1

Ich habe gerade Ihren Link in Firefox mit NoScript aktiviert. Da ist nichts in der <div @id='zwmbtilr'></div>. Wenn ich die Javascripts aktiviere, kann ich den gewünschten Inhalt sehen. Wie Sie bereits wissen, ist dies ein Problem mit dynamischen Inhalten.

Ihre erste Option ist versuchen, die Anfrage von Javascript generiert identifizieren. Wenn Sie das können, können Sie die gleiche Anfrage von scrapy senden. Wenn Sie es nicht tun können, ist die nächste Option in der Regel ein Paket mit Javascript/Browser-Emulation oder etwas ähnliches zu verwenden. Etwas wie ScrapyJS oder Scrapy + Selenium.