flume

1Hitze

1Antwort

flume1.6 spooldir Quelle ingests nur ein Teil der Datei

Dank für das Lesen dieser Ich versuche, Protokolle zu sammeln flume1.6 verwenden. Aber ich fand nicht alle Log-Datei wird mit Spooling-Director-Quelle aufgenommen. Bitte geben Sie Ihre Vorschläge !! I

0Hitze

1Antwort

nicht gefunden: Wert FlumeUtils

Dies ist mein Code mit Gerinne für die Integration von Funken Streaming: val conf = new SparkConf() .setAppName("File Count") .setMaster("local[2]") val sc = new SparkContext(conf)

2Hitze

1Antwort

Kanalspeicher ist beim Start voll

Ich habe Probleme mit dem Flume-Speicherkanal. Ich lief einen Flume-Agent, der den Speicherkanal überflutete und die Logs begannen zu verschütten "Der Kanal ist voll, und kann jetzt keine Daten schrei

2Hitze

2Antwort

Abrufen von Daten von Twitter mit rume und Speichern in hdfs in JSON FORMAT

Ich versuche, Daten von twitter mit runet und speichern zu hdfs in JSON FORMAT.And die Daten werden auf HDFS.BUT NICHT IN JSON FORMAT geladen. Ich füge einige Zeilen aus der HDFS-Datei, die von twitte

-1Hitze

1Antwort

Analyse mit twitter Daten

Gerinne-twitter.conf flume-twitter.conf Wenn ich von mehreren Website-Log-Dateien erhalten möchten, die unter einem Unternehmen zusammengeführt werden und alle haben ihre eigenen Websites, Wie werde i

1Hitze

1Antwort

Schreiben in den Kanal mit dem Spool-Verzeichnis, wie man die Datei umbenennt

Ich schreibe auf hdfs mit rume spool-Verzeichnis. Hier ist mein Code #initialize agent's source, channel and sink agent.sources = test agent.channels = memoryChannel agent.sinks = flumeHDFS # Set

0Hitze

1Antwort

Die beste Methode zum Importieren von 20-GB-CSV-Dateien nach Hadoop

Ich habe eine riesige 20-GB-CSV-Datei zum Kopieren in Hadoop/HDFS. Natürlich muss ich alle Fehlerfälle verwalten (wenn der Server oder die Transfer/Load-Anwendung abstürzt). In einem solchen Fall muss

0Hitze

1Antwort

So erstellen Sie ein Spoolind Directory als Sink in Flume

Ich weiß, wie ein Spool-Verzeichnis als Quelle in Gerinne machen. Ich verwende Spool-Verzeichnis, um Dateien von einem Ordner in die hdfs-Senke zu kopieren. Gibt es eine Möglichkeit, Spool-Verzeichnis

1Hitze

1Antwort

generieren Verbund hbase RowKey mit Flume Serializer

I GIS-Daten haben, die wie folgt aussieht - '111, 2011-02-01 20:30:30, 116.50443, 40.00951' '111, 2011-02-01 20:30:31, 116.50443, 40.00951' '112, 2011-02-01 20:30:30, 116.58197, 40.06665' '112, 201

0Hitze

1Antwort

Brauchen Sie Hilfe Debugging Kafka Quelle zu hdfs sinken mit Gerinne

Ich versuche, Daten von Kafka (schließlich werden wir kafka auf einer anderen Instanz ausgeführt) zu hdfs senden. Ich denke, Gerinne oder eine Art von Ingestion-Protokoll ist notwendig, um Daten in hd