nutch

0Hitze

1Antwort

Solr - Kombinierte automatische Crawling-Werte und andere manuell eingegebene Daten

Neu bei Solr und haben einen Crawl für bestimmte URLs mit Nutch/Solr implementiert. Wenn ich dem Solr-Schema neue Felder hinzufüge, kann ich es immer noch verwenden, um mit Nutch zu crawlen und ohne P

4Hitze

1Antwort

Solr 6 und Nutch 2.3.1 integration

Laut den nutch Nachrichten ist die neueste Version von Nutch 2.3.1 mit Solr 4.10.3 kompatibel, was eine sehr alte Version von solr ist. Können wir Solr 6 mit Nutch 2.3.1 integrieren? Was werden die Na

2Hitze

1Antwort

Problem beim Indizieren von Elasticsearch von Apache Nutch

Ich habe versucht, von Apache Nutch auf einzelne Knoten ES-Cluster zu indizieren und habe diesen Fehler. org.elasticsearch.transport.RemoteTransportException: Fehler bei deserialize Ausnahmeantwort au

2Hitze

2Antwort

Nutch Crawler nicht Nachrichten Artikelinhalt abrufen

Ich habe versucht, Nachrichtenartikel zu kriechen aus den Links: - Article 1 Article 2 Aber ich bin nicht den Text aus der Seite bekommen zum Inhaltsfeld im Index (elasticsearch). Ergebnis des Crawlin

0Hitze

1Antwort

Wie kann ich Apache Spark mit Apache Nutch verwenden

Ich muss einige Daten aus dem Internet crawlen und einige Analysen durchführen. Zum Crawlen habe ich mich für Apache Nutch 2.3.1 entschieden und für die Analyse habe ich mich für Apache Spark entschie

1Hitze

1Antwort

Wie wähle ich Daten von bestimmten Tags in nutch

Ich bin ein Neuling in Apache Nutch und ich würde gerne wissen, ob es möglich ist, ausgewählte Bereich einer Webseite zu crawlen. Wählen Sie zum Beispiel einen bestimmten div und crawlen Inhalte nur i

18Hitze

1Antwort

Wie crawlen Sie eine Website mit SAML-Authentifizierung mithilfe von ManifoldCF oder nutch?

Ich versuche, eine Website zu crawlen, genauer gesagt Google Site mit ManifoldCF, die SAML-Authentifizierung hat und die gecrawlten Daten in Apache Solr indiziert. Aber während ich die URL crawle, gib

0Hitze

1Antwort

Apache Nutch 1.11 Installation auf AIX-Maschine geben bin/nutch: nicht gefunden

Ich installiere Apache Nutch 1.11 Binärverteilung in einer AIX-Maschine. Nach dem Entpacken der Zip-Datei "apache-nutch-1.11-bin.zip" im Verzeichnis/usr. Ich habe gerade versucht, bei https://wiki.apa

0Hitze

1Antwort

Nutch 2 Inhalt Bild aus Crawlen auszuschließen

Das Problem ist, dass es Bilder geben kann, die nicht mit den spezifischen Bild-Erweiterungen sind. Zum Beispiel kramte Nutch2 eine Seite mit der Endung .ashx, war aber immer noch ein Bild. Gibt es ei

0Hitze

2Antwort

Integration von Apache Tomcat und solr

Ich versuche, Apache Tomcat (Version 7) und solr (Version 4) zu integrieren und ich bin immer diese Fehlermeldung: HTTP Status 500 - {msg=SolrCore 'collection1' is not available due to init failure: