2016-07-31 25 views
0

Ich experimentiere derzeit mit einer Firma, die ihre Protokolldaten in elasticsearch hat. (Sie verwenden derzeit den gesamten ELK-Stack).Elasticsearch und Splunk-Verbindung über Hadoop

Splunk hat ein Plugin namens Hunk, mit dem Sie HDFS/Hadoop-Daten von der Splunk-Schnittstelle abfragen können. Ich habe es geschafft zu arbeiten.

Meine Frage ist, gibt es einen Weg mit es-Hadoop irgendwie die beiden zusammen zu "überbrücken"? Dass, wenn Hunk meine hdfs abfragt, auch die Elasticsearch-Daten einzieht?

(Sie Unternehmen will, wenn seine machbar sehen Splunk zu verwenden, ohne die Daten zu duplizieren)

Danke.

+0

Haben Sie Logstash untersucht? Warum überhaupt Splunk benutzen? –

+0

Sie benutzen den ganzen ELK Stack, das werde ich klären. Sie möchten mit Splunk experimentieren, aber ohne die Daten zu duplizieren. – CeePlusPlus

+0

Gotcha. Leider glaube ich, dass Hunk HDFS-Daten strikt durchsucht. Der Konnektor zwischen ES und Hadoop ist nur eine Möglichkeit von HDFS nach ES –

Antwort

1

Splunk verwarf 2016 HUNK und veröffentlichte Hadoop Connect. Jetzt können Sie HDFS lesen, schreiben, untersuchen und exportieren. Beim Lesen, Schreiben oder Durchsuchen von HDFS-Clustern wird keine Splunk-Lizenzgebühr erhoben. So können Sie mit Daten aus HDFS arbeiten, um statistische Lösungen ohne Gebühr zu erstellen. Splunk wettet darauf, dass Sie zusammengefasste Daten sowie verfeinerte Datensätze in Splunk einfügen möchten, um sie für Unternehmen zugänglicher zu machen. https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/