Können Sie einen Ratschlag zum Entwerfen meiner Spark Stream-Quelle geben?

Question

Ich werde versuchen, meine Anforderung so gut wie möglich zu beschreiben. Aber bitte frag mich, ob es noch unklar ist.

Die Umgebung

Ich habe 5 Knoten (mehr in der Zukunft sein wird). Jeder von ihnen erzeugt alle 5 Minuten eine große CSV-Datei (etwa 1 bis 2 GB). Ich brauche Apache Spark Stream, um diese CSV-Dateien in fünf Minuten zu verarbeiten. Also diese 5 Dateien sind meine Eingabe DStream-Quelle.

Was ich

tun planen, plane ich textFileStream zu verwenden, wie unten:

ssc.textFileStream(dataDirectory) 

Alle 5 Minuten Ich werde diese CSV in einem Verzeichnis auf dem HDFS setzen. Verwenden Sie dann die obige Funktion, um inputDStream zu generieren.

Das Problem der oben beschriebenen Weise

die textFileStream benötigen eine komplette Datei anstelle von 5-Dateien. Ich weiß nicht, wie Dateien

Frage

1. in HDFS fusionieren Können Sie mir sagen, wie Dateien in hdfs von Python zu fusionieren?
2. Haben Sie einen besseren Vorschlag als meinen Weg? Bitte berate mich auch

Answer 1

Sie können immer die Dateien in einem Verzeichnis mit Wildcard-Zeichen lesen. Das sollte kein Problem sein. Das bedeutet, dass der RDDD von DStream zu jedem Zeitpunkt das zusammengeführte Ergebnis aller Dateien ist.

Soweit der Ansatz geht, ist Ihre ist einfach und funktioniert.

Hinweis: Das einzige, was Sie beachten sollten, ist die Unteilbarkeit der CSV-Dateien selbst. Ihre Dateien in den Ordner gehen sollte (die Sie für eingehende Datei beobachten) als mv nicht copy

Dank Manas