Scrapy - Crawl ganze Website

Question

Ich bin nicht in der Lage, die ganze Website zu crawlen, Scrapy kriecht nur an der Oberfläche, ich möchte tiefer kriechen. Googeln für die letzten 5-6 Stunden und keine Hilfe. Mein Code unten:

from scrapy.contrib.spiders import CrawlSpider, Rule 
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor 
from scrapy.selector import HtmlXPathSelector 
from scrapy.item import Item 
from scrapy.spider import BaseSpider 
from scrapy import log 

class ExampleSpider(CrawlSpider): 
    name = "example.com" 
    allowed_domains = ["example.com"] 
    start_urls = ["http://www.example.com/"] 
    rules = [Rule(SgmlLinkExtractor(allow=()), 
        follow=True), 
      Rule(SgmlLinkExtractor(allow=()), callback='parse_item') 
    ] 
    def parse_item(self,response): 
     self.log('A response from %s just arrived!' % response.url) 

Bitte helfen Sie !!!!

Danke, Abhiram

Answer 1

Regeln Kurzschluss, dass die erste Regel die Regel sein bedeutet, die angewendet wird ein Link genügt, Ihre zweite Regel (mit Rückruf) wird nicht aufgerufen werden.

Ihre Regeln zu dieser Änderung:

rules = [Rule(SgmlLinkExtractor(), callback='parse_item', follow=True)] 

Answer 2

Wenn die start_urls Parsen, kann tiefer URLs von dem Tag href analysiert werden. Dann kann eine tiefere Anfrage in der Funktion parse() erbracht werden. Here is a simple example. Der wichtigste Quellcode ist unten gezeigt:

from scrapy.spiders import Spider 
from tutsplus.items import TutsplusItem 
from scrapy.http import Request 
import re 

class MySpider(Spider): 
    name   = "tutsplus" 
    allowed_domains = ["code.tutsplus.com"] 
    start_urls  = ["http://code.tutsplus.com/"] 

    def parse(self, response): 
     links = response.xpath('//a/@href').extract() 

     # We stored already crawled links in this list 
     crawledLinks = [] 

     # Pattern to check proper link 
     # I only want to get tutorial posts 
     linkPattern = re.compile("^\/tutorials\?page=\d+") 

     for link in links: 
     # If it is a proper link and is not checked yet, yield it to the Spider 
      if linkPattern.match(link) and not link in crawledLinks: 
       link = "http://code.tutsplus.com" + link 
       crawledLinks.append(link) 
       yield Request(link, self.parse) 

     titles = response.xpath('//a[contains(@class, "posts__post-title")]/h1/text()').extract() 
     for title in titles: 
      item = TutsplusItem() 
      item["title"] = title 
      yield item