Scrapy Vs Nutch

Question

Ich plane Webcrawling in einer Anwendung zu verwenden, an der ich gerade arbeite. Ich habe etwas über Nutch recherchiert und einige Vorversuche mit ihm gemacht. Aber dann bin ich auf Scrapy gestoßen. Aber als ich einige vorbereitende Recherchen durchführte und die Dokumentation über scrapy durchging, fand ich heraus, dass es nur strukturierte Daten erfassen kann (Sie müssen den div-Namen angeben, von dem Sie Daten erfassen wollen). Das Backend der Anwendung, die ich entwickle, basiert auf Python und ich verstehe Scrapy ist Python basiert und einige haben vorgeschlagen, dass Scrapy besser als Nutch ist.

Meine Anforderung besteht darin, die Daten von mehr als 1000 verschiedenen Webseiten zu erfassen und nach relevanten Schlüsselwörtern in diesen Informationen zu suchen. Gibt es eine Möglichkeit, dass scrapy dieselbe Anforderung erfüllen kann?

1) Wenn ja, können Sie auf ein Beispiel hinweisen, wie es gemacht werden kann?

2) Oder Nutch + Solr ist am besten geeignet für meine Anforderung

Answer 1

Scrapy würde perfekt in Ihrem Fall arbeiten.

Sie sind nicht geben divs Namen erforderlich - Sie alles, was Sie wollen, erhalten:

Scrapy mit seinen eigenen Mechanismus kommt Daten zum Extrahieren. Sie sind genannt XPath Selektoren (oder nur "Selektoren", kurz), weil sie bestimmte Teile des HTML-Dokuments "Select" bestimmte durch XPath Ausdrücke.

Außerdem können Sie BeautifulSoup und zum Extrahieren der Daten aus dem Seiteninhalt verwenden.

Außerdem basiert scrapy auf verdreht und ist vollständig async und schnell.

Es gibt viele Beispiele Scrapy Spinnen hier auf SO - nur durch die scrapy Tag Fragen. Wenn Sie eine spezifischere Frage haben - fragen Sie einfach.

Hoffe, dass hilft.

Answer 2

Scrapy ist aufgebläht und ein Overkill für viele Aufgaben. Überraschend langsam. Sein Code ist zerbrechlich, es gibt ständige Änderungen, die die Retrokompatibilität beeinträchtigen. Wenn Sie Scrapy verwenden, verbringen Sie mehr Zeit damit, Scrapy-Interna zu verstehen, mit denen Sie Dinge erledigen können.