Wie können wir ein HadoopRDD-Ergebnis in ein Parquet-Format konvertieren?

Question

Ich versuche, eine DynamodDB Tabelle mit Apache Spark zu lesen.

Folgende ist meine Umsetzung:

So in die Spark-Shell

spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.dynamodb.DynamoDBItemWritable 

/* Importing DynamoDBInputFormat and DynamoDBOutputFormat */ 
import org.apache.hadoop.dynamodb.read.DynamoDBInputFormat 
import org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat 
import org.apache.hadoop.mapred.JobConf 
import org.apache.hadoop.io.LongWritable 
var jobConf = new JobConf(sc.hadoopConfiguration) 
jobConf.set("dynamodb.servicename", "dynamodb") 
jobConf.set("dynamodb.input.tableName", "myDynamoDBTable") 

// Pointing to DynamoDB table 
jobConf.set("dynamodb.endpoint", "dynamodb.us-east-1.amazonaws.com") 
jobConf.set("dynamodb.regionid", "us-east-1") jobConf.set("dynamodb.throughput.read", "1") 
jobConf.set("dynamodb.throughput.read.percent", "1") 
jobConf.set("dynamodb.version", "2011-12-05") 
jobConf.set("mapred.output.format.class", "org.apache.hadoop.dynamodb.write.DynamoDBOutputFormat") 
jobConf.set("mapred.input.format.class", "org.apache.hadoop.dynamodb.read.DynamoDBInputFormat") 
var orders = sc.hadoopRDD(jobConf, classOf[DynamoDBInputFormat], classOf[Text], classOf[DynamoDBItemWritable]) 

wir das Ergebnis in "Aufträge" Variable erhalten. Wie kann ich dieses Ergebnis in Parquet Datei oder Format umwandeln?

Update: Ich habe dieses Stück Code gefunden, um auf Dynamodb Daten zugreifen und konvertieren https://github.com/onzocom/spark-dynamodb/blob/master/src/main/scala/com/onzo/spark/dynamodb/DynamoDbRelation.scala?

Answer 1

Datenrahmen können als Parkettdateien gespeichert werden, RDDs jedoch nicht. Dies liegt daran, dass Parkett-Dateien ein Schema erfordern. RDDs müssen kein Schema haben, aber Datasframes müssen.