Wie Apache Nutch verschiedene Jobs parallel laufen

Question

Ich benutze Nutch 2.3. Alle Jobs laufen nacheinander, d. H. Erster Generator, Fetch, Parse, Index usw. Ich möchte einige Jobs gleichzeitig ausführen. Ich weiß, dass einige Jobs nicht parallel ausgeführt werden können, aber andere können z. B. job, dbupdate, indexjob mit fetch ausgeführt werden.

Ist es möglich? Mein grundlegendes Ziel ist es, den Fänger-Job die ganze Zeit zu erledigen. Ich nehme an, dass wir es mit einem anderen Zeitstempel machen können. Kann mir jemand den richtigen Weg zeigen?

Answer 1

Wenn Sie den nutch Web-App-Server auschecken, werden Sie feststellen, dass er mehrere Crawl-Jobs parallel ausführen kann. Sie sollten den Quellcode von Nutch 2.3 für webapp [NutchUiServer] lesen. Hoffe das hilft.