Spark: Speichern von RDD in einem bereits vorhandenen Pfad in HDFS

Question

Ich bin in der Lage, die RDD-Ausgabe in HDFS mit saveAsTextFile Methode zu speichern. Diese Methode löst eine Ausnahme aus, wenn der Dateipfad bereits existiert.

Ich habe einen Anwendungsfall, wo ich das RDDS in einem bereits vorhandenen Dateipfad in HDFS speichern muss. Gibt es eine Möglichkeit, die neuen RDD-Daten einfach an die Daten anzuhängen, die bereits im selben Pfad vorhanden sind?

Answer 1

Eine mögliche Lösung, verfügbar seit Spark-1.6 ist DataFrames mit text Format zu verwenden und append Modus:

val outputPath: String = ??? 

rdd.map(_.toString).toDF.write.mode("append").text(outputPath)