2016-07-11 15 views
0

Ich suche ein verteiltes Echtzeit-Computersystem, das Daten von einem Kafka-Server sammelt, um die Daten zu verarbeiten und sie dann in ElasticSearch zu speichern. Wähle ich bereits einige von ihnen:Was sind die Hauptunterschiede zwischen logstash und apache storm/spark streaming?

  • Apache Sturm
  • Apache Spark Streaming
  • und Logstash (die mehr als ETL descripted (ETL-Prozess))

I bereits habe mehrere Tutorials zum Vergleich von Storm und Spark Streaming gefunden. Ich habe jedoch kein Tutorial gefunden, das Logstash mit Storm und Spark-Streaming vergleicht. Das ist sehr verwirrend für mich, da ich logstash bereits kenne, aber ich möchte sicher sein, dass ich das richtige Werkzeug für meine Bedürfnisse auswähle.

Vielen Dank im Voraus

Antwort

2

Logstash ein Datenerfassungsmodul mit Echtzeit-Fähigkeiten ist. Es unterstützt Analyse, Archivierung, Überwachung, Alarmierung ... basierend auf einigen vordefinierten Metriken. -> Logstash ist eine Art spezifisches Produkt, Lösung Apache Spark und Storm sind sehr allgemein verteilte Echtzeit-Berechnungssysteme. -> Apache Spark/Storm sind nur Frameworks/Bibliotheken für allgemeine Zwecke.

+1

ok danke. In welchen Anwendungsfällen reicht logstash im Vergleich zu Storm und Spark Streaming nicht aus? Gibt es außerdem einen besseren Fortschritt hinsichtlich der zu verteilenden Leistungen? –

+0

Ich muss nur verstehen, warum einige Unternehmen wie Twitter Sturm oder Funken Streaming und nicht Logstash verwenden. Für mich scheint es, dass sie das gleiche tun .. –

+0

Lassen Sie uns Definition auf dem GitHub sehen: https://github.com/elastic/logstash. "Logstash ist ein Tool zum Verwalten von Ereignissen und Protokollen. Sie können damit Protokolle sammeln, analysieren und für die spätere Verwendung speichern (z. B. für die Suche). Wenn Sie sie in Elasticsearch speichern, können Sie sie mit Kibana anzeigen und analysieren – NangSaigon