flume

1Hitze

1Antwort

Ereignis von Netcat-Quelle geht nicht durch Kafka-Kanal

Ich benutze einen Kanal-Agent, um externe Daten über Flume-Agent zu sammeln. Der externe Datenstapel beträgt fast 1 MB pro 10 Sekunden. Ich habe Flume Agent wie folgt konfiguriert. # Flume agent confi

0Hitze

1Antwort

Flume fügt Zeilenvorschub nach 2048 Zeichen hintereinander hinzu

Ich habe einen Flume 1.5-Agenten auf einer Ubuntu-Workstation, der Protokolle von verschiedenen Geräten sammelt und die Protokolle in einer durch Kommas getrennten Datei mit sehr langen Zeilen formati

5Hitze

1Antwort

Verwenden des lokalen Dateisystems als Flume-Quelle

Ich habe gerade angefangen, Big Data zu lernen, und zu dieser Zeit arbeite ich an Flume. Das gängige Beispiel ist die Verarbeitung von Tweets (das Beispiel von Cloudera) mit Java. Nur für Test- und Si

13Hitze

1Antwort

Wie kann man Daten effizient von Kafka in eine Impala-Tabelle verschieben?

Hier sind die Schritte, um den aktuellen Prozess: Flafka schreibt Protokolle in einer ‚Landezone‘ auf HDFS. Ein von Oozie geplanter Job kopiert komplette Dateien von der Landezone in einen Bereitstell

7Hitze

1Antwort

Avro Textdatei von Flume Twitter-Agenten erzeugt wird, nicht in Java

Nicht in der Lage, die von Streaming twitter Daten zu lesen und zu analysieren, mit twitter Agenten Flume erstellt Datei gelesen werden, weder mit Hilfe von Java noch Avro-Tool. Meine Anforderung best

6Hitze

3Antwort

Wie JSON in HDFS einfügen mit Flume richtig

ich die HTTPSource in Flume zur Aufnahme POST Ereignisse in json Format verwende wie folgt: {"username":"xyz","password":"123"} Meine Frage ist: Muss ich die Quelle zu ändern haben die Ereignisse (i

7Hitze

3Antwort

Konfigurieren Sie Spüle elasticsearch Apache-Rinne

Dies ist mein erstes Mal hier, so tut mir leid, wenn ich nicht gut post, und Entschuldigung für mein schlechtes Englisch. Ich versuche, Apache Flume und Elasticsearch-Senken zu konfigurieren. Alles is

5Hitze

1Antwort

Nutzbarer Speicherplatz erschöpft in Kanal mit Kanal

Ich arbeite an Flume mit Spool Directory als Quelle, HDFS als Senke und Datei als Kanal. Beim Ausführen des Flume-Jobs. Ich komme unter Problem. Der Speicherkanal funktioniert einwandfrei. Aber wir mü

0Hitze

1Antwort

Flume-ng: Quellpfad und Typ für das Kopieren der Protokolldatei von lokal nach HDFS

Ich versuche, einige Protokolldateien von local zu HDFS mit flume-ng zu kopieren. Die source ist /home/cloudera/flume/weblogs/ und die sink ist hdfs://localhost:8020/flume/dump/. Ein Cron-Job kopiert

2Hitze

1Antwort

Flume + Spark - Speichern von DStream in HDFS

Ich habe Kanal Stream, die ich in HDFS über Funken speichern möchte. Im Folgenden finden Sie Funken Code, den ich object FlumePull { def main(args: Array[String]) { if (args.length < 2) {