flume-ng

-1Hitze

1Antwort

Kopieren von Dateien von meinem lokalen Dateisystem nach HDFS mit Flume

Mit einem Dateigenerator in Java, ich habe einen Strom von Verzeichnissen und Dateien in meinem lokalen Dateisystem, die ich in HDFS verschieben muss. Ich suche im Internet und ich habe gesehen, dass

1Hitze

1Antwort

Schreiben in den Kanal mit dem Spool-Verzeichnis, wie man die Datei umbenennt

Ich schreibe auf hdfs mit rume spool-Verzeichnis. Hier ist mein Code #initialize agent's source, channel and sink agent.sources = test agent.channels = memoryChannel agent.sinks = flumeHDFS # Set

0Hitze

1Antwort

So erstellen Sie ein Spoolind Directory als Sink in Flume

Ich weiß, wie ein Spool-Verzeichnis als Quelle in Gerinne machen. Ich verwende Spool-Verzeichnis, um Dateien von einem Ordner in die hdfs-Senke zu kopieren. Gibt es eine Möglichkeit, Spool-Verzeichnis

1Hitze

3Antwort

Hadoop: java.net.ConnectException: Verbindung abgelehnt

Hallo Ich habe versucht, dieses Tutorial zu folgen: http://www.tutorialspoint.com/apache_flume/fetching_twitter_data.htm für eine sehr lange Zeit jetzt und ich bin absolut bei Schritt 3 fest: Erstelle

0Hitze

1Antwort

Flume Distribution

Von Apache Flume 1.6 Offizielle Website, ich finde Gerinne ist verteilt. Aber Master-Slave-Architektur ist nach Flume 1.x veraltet. Wie verteilt der Kanal die Arbeit? Ich habe Kanal auf zwei Hosts übe

1Hitze

2Antwort

apache rune log Verzeichnis

Beginnen Sie einfach Apache Flume zu lernen. Ich folge den Anweisungen auf Flume offiziellen Erste Schritte Webseite: https://cwiki.apache.org/confluence/display/FLUME/Getting+Started Fast alles ist i

0Hitze

1Antwort

Brauchen Sie Hilfe Debugging Kafka Quelle zu hdfs sinken mit Gerinne

Ich versuche, Daten von Kafka (schließlich werden wir kafka auf einer anderen Instanz ausgeführt) zu hdfs senden. Ich denke, Gerinne oder eine Art von Ingestion-Protokoll ist notwendig, um Daten in hd

0Hitze

1Antwort

Kanalkonfiguration funktioniert nicht mit Ausnahme

Ich habe die folgende Konfiguration. Ich versuche, eine Datei der Größe 9GB zu hdfs zu übertragen, die run aus Spool-Verzeichnis verwenden. Ich habe die folgende Gerinne Konfiguration. #initialize age

0Hitze

1Antwort

keine Daten von Twitter durch Gerinne

bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume-twitter.conf -Dflume.root.logger=DEBUG,console zum Download Wenn ich den obigen Befehl ausführen es die folgenden Fehler erzeugen: 201

1Hitze

1Antwort

Gerinne Befehl [tail -F] verlassen mit 1

Der Versuch, den folgenden Befehl in Linux laufen: bin/flume-ng agent -n a1 -c conf -f conf/flume-tail.properties -Dflume.root.logger=INFO,console jedoch die Verarbeitung hält an: 2016-06-26 09:03:4