Abrufen der Website-Protokolle mit Apache Kafka und Bearbeiten mit Spark Streaming

-1

Ich bin neu bei Apache Kafka.Ich konnte Konsolenhersteller und -verbraucher ausführen, aber jetzt möchte ich die Protokolle der Website meines Freundes mit Apache Kafka und Spark Streaming verarbeiten. bin/zookeeper-server-start.sh config/zookeeper.propertiesAbrufen der Website-Protokolle mit Apache Kafka und Bearbeiten mit Spark Streaming

Danach hatte ich den Makler using- gestartet: Zum einen hatte ich den zookeeper Service using- gestartet bin/kafka-server-start.sh Config /server.properties

und dann ein Thema erstellt.Aber danach wurde ich verwirrt, wo der Produzent (bin/kafka-console-producer.sh --broker-list localhost: 9092 - topic test) -Befehl auszuführen entweder auf meinem Laptop oder auf der Client-Seite? Bitte helfen.

Quelle

2016-07-31 naaviii

was möchten Sie mit dem Produzenten machen? – Knight71

Ich möchte die Logs der Website meines Freundes holen. Also möchte ich den Producer-Code schreiben und ihn auf dem Rechner meines Freundes laufen lassen. – naaviii

Ich bezweifle, dass die kafka-consule-consumer.sh mit einer guten Wahl ... Es ist nur zum Testen während der Entwicklung konzipiert ...

Wenn Sie jedoch einzelne Protokolldatei haben, können Sie Rohr der Protokolldatei in die Hersteller wie folgt:

tail -n +1 -f webServer.log | bin/kafka-consule-consumer.sh --broker-list <broker>:9092 --topic test

Natürlich müssen Sie diesen Befehl auf dem Webserver-Computer ausführen.

Quelle

2016-08-02 13:48:48

Abrufen der Website-Protokolle mit Apache Kafka und Bearbeiten mit Spark Streaming

Antwort

Verwandte Themen