Scrapy: Extrahieren Sie Links und Text

Question

Ich bin neu zu scrapy und ich versuche, die Ikea Webseite zu kratzen. Die Basisseite mit der Liste der angegebenen Standorte here.

import scrapy 


class IkeaItem(scrapy.Item): 

    name = scrapy.Field() 
    link = scrapy.Field() 

Und die Spinne ist unten angegeben:

import scrapy 
from ikea.items import IkeaItem 
class IkeaSpider(scrapy.Spider): 
    name = 'ikea' 

    allowed_domains = ['http://www.ikea.com/'] 

    start_urls = ['http://www.ikea.com/'] 

    def parse(self, response): 
     for sel in response.xpath('//tr/td/a'): 
      item = IkeaItem() 
      item['name'] = sel.xpath('a/text()').extract() 
      item['link'] = sel.xpath('a/@href').extract() 

      yield item 

Auf Ausführen der Datei, die ich bekommen habe keine Ausgabe

Meine items.py Datei ist unten angegeben. Die JSON-Datei ausgegeben wird, so etwas wie:

[[{"link": [], "name": []} 

Die Ausgabe, die ich suche, der Name der Lage ist und der Link. Ich bekomme nichts. Wohin gehe ich falsch?

Answer 1

Es gibt einen einfachen Fehler innerhalb der Xpath-Ausdrücke für die Artikelfelder. Die Schleife geht bereits über die a Tags, Sie müssen a in den inneren XPath-Ausdrücken nicht angeben. Mit anderen Worten suchen Sie derzeit nach a Tags innerhalb der a Tags innerhalb der td innerhalb tr. Was offensichtlich zu nichts führt.

Ersetzen Sie a/text() mit text() und a/@href mit @href.

(getestet - Werke für mich)

Answer 2

Verwendung dieses ....

item['name'] = sel.xpath('//a/text()').extract() 
    item['link'] = sel.xpath('//a/@href').extract()