scrapy: html-String in HtmlResponse-Objekt konvertieren

Question

Ich habe eine HTML-Zeichenfolge, die ich in scrapy HTML-Antwort-Objekt konvertieren möchte, so dass ich die Selektoren css und xpath verwenden kann, ähnlich wie scrapys response. Wie kann ich es tun?

Answer 1

Zunächst einmal, wenn es für das Debuggen oder zu Testzwecken ist, können Sie die Scrapy shell verwenden:

$ cat index.html 
<div id="test"> 
    Test text 
</div> 

$ scrapy shell index.html 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text' 

Es gibt different objects available in the shell während der Sitzung, wie response und request.

---

Oder können Sie eine HtmlResponse class instanziiert und die HTML-String in body bieten:

>>> from scrapy.http import HtmlResponse 
>>> response = HtmlResponse(url="my HTML string", body='<div id="test">Test text</div>') 
>>> response.xpath('//div[@id="test"]/text()').extract()[0].strip() 
u'Test text'