Ich habe eine Aufgabe zum Konfigurieren einer einfachen Pipeline für App-Log-Aufnahme. Voraussetzung für diese Pipeline ist die Verwendung von kafka als Transportprotokoll. Wie ich verstehe, hat Gerinne eine eingebaute Fähigkeit zum Einlesen von Log-Dateien. Gibt es eine Möglichkeit, Flume als Produzent zu verwenden und ihre Ausgabe an ein Kafka-Thema weiterzugeben?Ist es möglich, die Gerinne als Kafka-Produzent für Log-Ingestion zu verwenden?
Ja, Sie können Flume als Produzent für Kafka verwenden. Werfen Sie einen Blick auf diese API zur Verfügung gestellt von Flume: https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html
ja, können Sie verwenden. Wie in der vorherigen Antwort angegeben.
möchte nur hinzufügen, dass Sie Konfigurationen vornehmen müssen ähnlich wie:
# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks = hdfs-sink-1
# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...