Ich brauche zu lesen in bestimmten Parkett Dateien mit Funken, ich weiß, kann dies wie so getan werden, habe ein List [String] -Objekt mit all diesen s3 Pfaden darin, aber ich weiß nicht, wie ich das programmatisch an die Parkettfunktion in Scala weitergeben kann? Es gibt zu viele Dateien, um es manuell zu tun, irgendwelche Ideen, wie man die Dateien programmatisch in die Parkettfunktion bringt?Pass List [Zeichenfolge] auf Funktion, die f nimmt (args: String *):</p> <pre><code>sqlContext .read .parquet("s3://bucket/key", "s3://bucket/key") </code></pre> <p>ich jetzt scala
0
A
Antwort
2
Ich habe eine ähnliche Frage früher bezüglich wiederholter Parameter here beantwortet.
Wie @Dima erwähnt, Sie sind für eine Splat-Operator suchen, weil .parquet
erwartet wiederholt Argumente:
sqlContext.read.parquet(listOfStrings:_*)
Mehr zu wiederholten Argumente in der Scala Language Specification seciton 4.6.2
Obwohl es die Spezifikationen von scala 2.9 hat sich dieser Teil nicht geändert.
Sie suchen nach _splat operator_: '.parquet (listOfStrings: _ *)' – Dima
In der Tat bin ich, vielen Dank! – moku