Wie kann ich meinen Scalding-Job rekursiv auf seinem Eingabe-Bucket ausführen lassen?

Question

Ich habe einen Verbrühungsjob, der auf EMR läuft. Es läuft auf einem S3-Bucket, der mehrere Dateien enthält. Die Quelle sieht wie folgt aus:

MultipleTextLineFiles("s3://path/to/input/").read 
    /* ... some data processing ... */ 
    .write(Tsv("s3://paths/to/output/)) 

Ich möchte es auf einem verschachtelten Eimer, das heißt einen Eimer Eimer enthalten, laufen lassen, die sich Dateien enthalten. Es sollte alle Dateien in den inneren Buckets verarbeiten. Wenn ich versuche, dies zu tun, ohne die Quelle zu ändern, bekomme ich diesen Fehler:

java.io.IOException: Not a file: s3://path/to/innerbucket 

Wie kann ich diesen Job ändern, um es auf einem verschachtelten Eimer laufen zu lassen?

Answer 1

Platzhalter verwenden:

s3://path/to/input/* 

Wenn Sie mehrere Verschachtelungsebenen haben, verwenden Sie mehrere Platzhalter, um die Dateien zu erhalten:

s3://path/to/input/*/*/*