Gerinne bekommen Fehler beim Aktualisieren von Daten in HDFS

Question

Ich brauche Gerinne in separaten Maschine, die nicht Teil des HDFS-Daten-Knoten oder Name Knoten ist und es muss Daten von Kafka lesen und speichern Sie es in HDFS in einem separaten Cluster. Kann es gemacht werden? Ich bekomme Fehler im Zusammenhang mit Hadoop-JAR-Dateien.

Answer 1

Apache Flume erfordert Hadoop Gläser für HDFS Sink da Sie Daten lesen von kafka und zurück in HDFS speichern.

Bitte fügen Sie alle Hadoop-bezogenen Gläser in den Klassenpfad ein und führen Sie sie erneut aus.