2016-07-08 27 views
0

Ich brauche zu lesen in bestimmten Parkett Dateien mit Funken, ich weiß, kann dies wie so getan werden, habe ein List [String] -Objekt mit all diesen s3 Pfaden darin, aber ich weiß nicht, wie ich das programmatisch an die Parkettfunktion in Scala weitergeben kann? Es gibt zu viele Dateien, um es manuell zu tun, irgendwelche Ideen, wie man die Dateien programmatisch in die Parkettfunktion bringt?Pass List [Zeichenfolge] auf Funktion, die f nimmt (args: String *):</p> <pre><code>sqlContext .read .parquet("s3://bucket/key", "s3://bucket/key") </code></pre> <p>ich jetzt scala

+3

Sie suchen nach _splat operator_: '.parquet (listOfStrings: _ *)' – Dima

+0

In der Tat bin ich, vielen Dank! – moku

Antwort

2

Ich habe eine ähnliche Frage früher bezüglich wiederholter Parameter here beantwortet.

Wie @Dima erwähnt, Sie sind für eine Splat-Operator suchen, weil .parquet erwartet wiederholt Argumente:

sqlContext.read.parquet(listOfStrings:_*) 

Mehr zu wiederholten Argumente in der Scala Language Specification seciton 4.6.2

Obwohl es die Spezifikationen von scala 2.9 hat sich dieser Teil nicht geändert.