nutch

0Hitze

2Antwort

Kann Nutch bestimmte Seiten kriechen werden eingesetzt

Kann Nutch verwendet werden: einen Web-Service erstellen, die ich eine Liste von URLs (diese in Chargen von mehreren zehntausend sein könnte) geben kann - das ein einfacher Wrapper um eine Befehlszeil

0Hitze

3Antwort

Wie verhindert man das Crawlen externer Links mit Apache Nutch?

Ich möchte nur bestimmte Domains auf Nutch crawlen. Dazu stelle ich die db.ignore.external.links zu wahr wie es in diesem FAQ link gesagt wurde das Problem nutch Start ist nur Links in der Seed-Liste

0Hitze

2Antwort

storm crawler - Technologie-Stack und Apache Nutch

Ich möchte ein bestimmtes Forum in Echtzeit crawlen und die Daten in HDFS ablegen, wenn nicht Hbase. Ich hörte, Apache Nutch könnte den Zweck lösen, aber leider ist der Technologie-Stack ziemlich alt.

0Hitze

1Antwort

Wie richte ich einen Nutch Crawler unter Mac OS X ein?

Ich finde keine glaubwürdige Bedienungsanleitung oder Anleitung online, kann mich jemand bitte durch die Einrichtung für einen Nutch Crawler unter Mac OS X führen?

1Hitze

1Antwort

Wie bekomme ich Webgraph in Apache Nutch?

Ich habe generiert webgrapgh db in apache nutch mit Befehl 'bin/nutch webgraph -segmentDir crawl/segments -webgraphdb crawl/webgraphdb' .... Es generiert drei Ordner in crawl/webgraphdb, die Inlinks,

0Hitze

1Antwort

Wie aktualisiert man den Abrufstatus in crawldb in Apache nutch?

Ich habe Web Crawling mit Apache Nutch ..... Ich habe für zwei Runden geholt. Es erzeugte eine Durchforstungs-DB, die 21 URLs als abgerufenen Status und 537 URL als nicht abgerufenen Status enthielt.

0Hitze

1Antwort

wie man nutch setzt, um Inhalt von nur URLs zu extrahieren, die auf Seed-Datei vorhanden sind

Ich benutze nutch 2.3 und ich versuche, den HTML-Inhalt einiger URLs zu erhalten, die auf seed.txt-Datei vorhanden sind, die ich an nutch in HBase übergebe. So ist das Problem, wie unten --- Erste Cra

0Hitze

1Antwort

Sind example.com/ und example.com/index.html bei nutch 1.11 gleich?

Ich habe meine Anwendung auf nutch 1.11 von nutch 1.3 aktualisiert. Zuvor habe ich 2 URLs example.com/ und example.com/index.html bekommen, während ich durch nutch 1.3 gecrawlt habe. Aber nach dem upg

0Hitze

1Antwort

Nutch und Elasticsearch

Ich baue eine kleine Suche App mit Elasticsearch, AngularJS und Nutch. Ich habe ziemlich viel ES und AngularJS Teil abgeschlossen. Jetzt ist es Zeit für den Nutch- und ES-Teil, mit Nutch zu crawlen UN

0Hitze

1Antwort

Apache Nutch Kompatibilität mit Ubuntu

Ich richte System für Apache Nutch, aber ich bin mit Betriebssystem fest. Ich bin verwirrt, welche Version von Ubuntu mit Apache Nutch 2.3.1 kompatibel ist. Jede Hilfe wird geschätzt.