Spark-Datenframe im ORC-Format mit Snappy-Komprimierung schreiben

Question

Ich lese erfolgreich eine in S3 gespeicherte Textdatei und schreibe sie in S3 im ORC-Format mit Spark-Datenframes zurück. - inputDf.write().orc(outputPath);
Was ich nicht in der Lage bin zu konvertieren, ist das ORC-Format mit bissiger Komprimierung. Ich habe bereits versucht, während des Schreibens eine Option zu geben, um den Codec schnell zu setzen, aber Spark schreibt immer noch als normaler ORC. Wie erreicht man das Schreiben im ORC-Format mit Snappy-Komprimierung auf S3 mit Spark-Dataframes?

Answer 1

Für alle, die das gleiche Problem haben, in Spark 2.0 ist dies standardmäßig möglich. Das Standardkomprimierungsformat für ORC ist auf "Snappy" eingestellt.

public class ConvertToOrc { 
    public static void main(String[] args) { 
     SparkSession spark = SparkSession 
       .builder() 
       .appName("OrcConvert") 
       .getOrCreate(); 
     String inputPath = args[0]; 
     String outputPath = args[1]; 

     Dataset<Row> inputDf = spark.read().option("sep", "\001").option("quote", "'").csv(inputPath); 
     inputDf.write().format("orc").save(outputPath); 

    } 
}