nutch

5Hitze

2Antwort

Ich habe versucht, Nutch zu verwenden, um über die erste Seite der Domänen in meiner URL-Datei zu crawlen und dann Solr zu verwenden, um Schlüsselwörter in den durchsuchten Daten durchsuchbar zu mache

0Hitze

1Antwort

Wie bekomme ich die Tags von stackoverflow für solr index?

Vor kurzem habe ich nutch-1.11 und solr-4.10.4 verwendet, um einen Crawler einzurichten, ich kann Daten mit sequentiellen nutch-Befehlen crawlen, aber jetzt ist mein Problem, wie kann ich die angegebe

7Hitze

1Antwort

Maximale Anzahl von Apache Nutch-Worker-Instanzen

Wie viele Apache Nutch-Crawler-Instanzen können maximal gleichzeitig mit einem Master-Knoten ausgeführt werden?

0Hitze

1Antwort

ist es möglich, Nutch Fetcher Klasse anzupassen?

Ich bin erfolgreich Crawl Web Link und Indexdaten in solr. aber ich muss eine PDF-Datei für alle Link erstellen, die Crawl und Index in Solr werden. Ich weiß, dass Phantome mir pdf geben werden, aber

1Hitze

1Antwort

Crawlen von Websites mit Nutch 2.3.1 überspringt Produktlinks, aber kriegt andere Links

Also, ich versuche Männer Schuhe von jabong.com zu kriechen. Meine Samen url ist: http://www.jabong.com/men/shoes/ ich sicher nutch mache keine ? und = nicht überspringen mit diesem ist regex-urlfil

6Hitze

1Antwort

nutch 1.10 Eingangspfad existiert nicht/LinkDB/Strom

Wenn ich nutch 1.10 mit folgendem Befehl ausführen, unter der Annahme, dass TestCrawl2 vorher nicht existierte und muss erstellt werden, ... sudo -E bin/crawl -i -D solr.server.url=http://localhost:89

10Hitze

1Antwort

Apache Nutch - Probleme mit Pfaden

Ich versuche, Apache Nutch zum Crawlen von URLs einzurichten, gefolgt von this. Da ich ein älterer Guide bin (Der Guide ist für 1.x, benutze ich 2.3), habe ich die notwendigen Änderungen an der Strukt

5Hitze

2Antwort

zookeeper kann den Socket zu localhost nicht öffnen 0: 0: 0: 0: 0: 0: 0: 1: 2181

Ich benutze zookeeper ensemble für hbase. Zookeeper läuft auf 3 Maschinen. Während HBase ist auch in vollständig verteilten Modus. Ich habe Nutch 2.x Version. Wenn ich nutch starte, um einige Daten zu

10Hitze

1Antwort

Wie Apache Nutch verschiedene Jobs parallel laufen

Ich benutze Nutch 2.3. Alle Jobs laufen nacheinander, d. H. Erster Generator, Fetch, Parse, Index usw. Ich möchte einige Jobs gleichzeitig ausführen. Ich weiß, dass einige Jobs nicht parallel ausgefüh

6Hitze

1Antwort

Wie analysiert man Inhalt, der sich in bestimmten HTML-Tags befindet, mit dem Plugin nutch?

Ich benutze Nutch zum Crawlen von Websites und ich möchte bestimmte Abschnitte von HTML-Seiten analysieren, die von Nutch gecrawlt wurden. Zum Beispiel <h><title> title to search </title></h> <di