flume

7Hitze

2Antwort

Ich habe einen mobilen Service über 7 Server verteilt jeder von ihnen eine bestimmte Aufgabe zu tun. Ich möchte Informationen von ihnen protokollieren und später Business Intelligence von ihnen ableit

5Hitze

1Antwort

Impala - Datei nicht gefunden Fehler

Ich verwende Impala mit Gerinne als Filestream. Das Problem ist Gerinne temporäre Dateien mit der Erweiterung .tmp ist das Hinzufügen, und dann, wenn sie Impalas Abfragen gelöscht werden mit der folge

5Hitze

2Antwort

Verwenden Sie Gerinne, um Daten zu S3 zu streamen

Ich versuche Gerinne für etwas sehr einfaches, wo ich Inhalt von meinen Protokolldateien auf S3 schieben möchte. Ich konnte einen Kanalagenten erstellen, der den Inhalt aus einer Apache-Zugriffsprotok

7Hitze

2Antwort

Apache Flume Twitter Agent nicht Streaming-Daten

Ich versuche, Twitter-Feeds zu hdfs zu streamen und dann Stock verwenden. Aber der erste Teil, Daten zu streamen und auf hdfs zu laden, funktioniert nicht und gibt Null Pointer Exception. Das habe ich

5Hitze

1Antwort

Kann Apache Gerinne hdfs Sink akzeptieren dynamischen Pfad zu schreiben?

Ich bin neu in Apache-Kanal. Ich versuche zu sehen, wie ich einen JSON (als http-Quelle) bekommen, analysieren und speichern Sie es auf einen dynamischen Pfad auf HDFs nach dem Inhalt. Zum Beispiel: w

6Hitze

3Antwort

Welches ist der einfachste Weg, kleine HDFS-Blöcke zu kombinieren?

Ich sammle Protokolle mit Flume zum HDFS. Für den Testfall habe ich kleine Dateien (~ 300kB), weil der Log-Sammelvorgang für die reale Nutzung skaliert wurde. Gibt es eine einfache Möglichkeit, diese

5Hitze

4Antwort

Gerinne - flume.root.logger = DEBUG, Konsole nur protokolliert Protokollanweisungen INFO Ebene

I Flume 1.4.0-cdh4.7.0 in CentOS (cloudera VM) installiert lief ich den folgenden Befehl, um die Gerinne zu starten Gerinne-ng Mittel -n agenten name -c conf -f conf/flume.conf -Dflume.root.looger = D

6Hitze

2Antwort

Flume nicht auf HDFS schreiben, wenn getötet

Ich folgte der link für die Einstellung TwitterSource und HDFS sinken. Befehl zum Starten des Agenten verwendet: bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf.properties -Dflume.root.l

5Hitze

2Antwort

Benutzerdefinierte Sink für Flume-ng null Ereignis

Ich versuche, eine benutzerdefinierte Senke für Flume-ng zu schreiben. Ich schaute auf die vorhandenen Waschbecken und Dokumentation und kodierte es. Die 'process()' Methode, die die Ereignisse erhalt

2Hitze

2Antwort

Inkrementelle Behandlung von Twitter Streaming API mit Apache httpclient?

Ich benutze Apache HTTPClient 4, um eine Verbindung zu Twitter Streaming API mit Standard-Level-Zugriff herzustellen. Es funktioniert sehr gut am Anfang, aber nach ein paar Minuten von den Abruf der D