flume

-1Hitze

1Antwort

Kopieren von Dateien von meinem lokalen Dateisystem nach HDFS mit Flume

Mit einem Dateigenerator in Java, ich habe einen Strom von Verzeichnissen und Dateien in meinem lokalen Dateisystem, die ich in HDFS verschieben muss. Ich suche im Internet und ich habe gesehen, dass

0Hitze

1Antwort

Twitter Daten abrufen mit Gerinne

Der Versuch, Twitter-Daten abzurufen, aber diesen Fehler erhalten: java_home nicht gesetzt, während andere Dienste gut läuft.

0Hitze

1Antwort

Versuchen, twitter Daten durch den Kanal zu holen

Ich habe versucht, twitter Daten durch den Kanal zu holen. Die Twitter App, die ich gemacht habe, heißt pntgoswami18 und die Beschreibung ist BackToCollege. Ich habe alle erforderlichen Schlüssel- und

1Hitze

2Antwort

Ist es möglich, die Gerinne als Kafka-Produzent für Log-Ingestion zu verwenden?

Ich habe eine Aufgabe zum Konfigurieren einer einfachen Pipeline für App-Log-Aufnahme. Voraussetzung für diese Pipeline ist die Verwendung von kafka als Transportprotokoll. Wie ich verstehe, hat Gerin

0Hitze

1Antwort

Kanalkonfiguration funktioniert nicht mit Ausnahme

Ich habe die folgende Konfiguration. Ich versuche, eine Datei der Größe 9GB zu hdfs zu übertragen, die run aus Spool-Verzeichnis verwenden. Ich habe die folgende Gerinne Konfiguration. #initialize age

0Hitze

1Antwort

Kanal-/Avro-Quelle, Speicherkanal und HDFS-Senke - Zu viele kleine Dateien

Ich stehe vor einem seltsamen Problem. Ich bin auf der Suche nach einer Menge Informationen von Gerinne zu einem HDFS zu aggregieren. Ich habe die empfohlene Konfiguration angewendet, um zu viele klei

0Hitze

1Antwort

Twitter_Streaming_Data_Error

Ich erhalte den unten angegebenen Fehler, wenn ich versuche, über Streaming auf die Twitter-Daten zuzugreifen. Ich bin mir nicht sicher, die Ursache dafür. Ich verwende Filechannel, um die Daten von T

1Hitze

1Antwort

Kann Kafka in cdh nicht aktivieren 5.7.0

Ich bin neu in CDH 5.7.0. Ich brauche Kafka und Gerinne, um in meinem Projekt verwendet zu werden. Als ich Cloudera Manager startete, fand ich Kafka als bereits zum Download verfügbar. Ich klickte auf

0Hitze

3Antwort

Was ist der beste Ort, um mehrere kleine Dateien in hadoop zu speichern

Ich werde mehrere kleine Textdateien etwa Größe von 10KB haben, hat verwirrt, wo diese Dateien in HBase oder in HDFS zu speichern. Was wird der optimierte Speicher sein? Weil ich in HBase speichern mu

1Hitze

1Antwort

Gerinne Befehl [tail -F] verlassen mit 1

Der Versuch, den folgenden Befehl in Linux laufen: bin/flume-ng agent -n a1 -c conf -f conf/flume-tail.properties -Dflume.root.logger=INFO,console jedoch die Verarbeitung hält an: 2016-06-26 09:03:4