wie Sturm hdfs in verschiedene Dateipfad schreiben

Question

ich nicht verstehen, wie ich wie diese

Zum Beispiel tun würde, habe ich die Schraube A, dass nach einer gewissen Berechnung hat somevalue1, somevalue2 und somevalueX.

Es will hdfs wie folgt senden:

somevalue1 -> /somevalue1/path-hdfs/somevalue1.txt

somevalue2 -> /somevalue2/path-hdfs/somevalue2.txt

somevalueX -> /somevalueX/path-hdfs/somevalueX.txt

Sie für Ihre Hilfe Vielen Dank im Voraus.

Answer 1

Momentan gibt es keine out of the box Entscheidung dafür, aber Theres pull request für HDFS Bolt Verbesserung, die in mehrere Dateien schreiben können.

Answer 2

Sie können mehrere HDFS-Schrauben (eine für jede Datei) verwenden und unterschiedliche Ausgabeströme in der Herstellerschraube ausgeben, die die HDFS-Schrauben versorgen.

Deklarieren Sie dazu für jede Ausgabedatei in der Erzeugerschraube einen Ausgabestrom und geben Sie die Tupel unter der execute(...) Methode an den entsprechenden Ausgabestrom aus.