Wie dynamische DynamoDB Spalten in EMR Hive

Question

Ich habe eine Tabelle in Amazon DynamoDB mit einer Satzstruktur wie

{"username" : "joe bloggs" , "products" : ["1","2"] , "expires1" : "01/01/2013" , "expires2" : "01/02/2013"} 

wo die Produkte Eigenschaft ist eine Liste von Produkten für den Benutzer gehören, kartieren und der Ablauf n Eigenschaften beziehen sich auf die Produkte in der Liste, die Liste der Produkte ist dynamisch und es gibt viele. Ich brauche diese Daten zu S3 in einem Format wie

joe bloggs|1|01/01/2013 
joe bloggs|2|01/02/2013 

Mit hive externen Tabellen übertragen kann ich die Benutzernamen und Produkte Spalten in DynamoDB Karte, aber ich bin nicht in der Lage, die dynamischen Spalten abzubilden. Gibt es eine Möglichkeit, den org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler zu erweitern oder anzupassen, um die Daten zu interpretieren und zu strukturieren, die vom Dynamo abgerufen werden, bevor der Hive ihn aufnimmt? Oder gibt es eine alternative Lösung, um die Dynamodaten in die erste Normalform umzuwandeln?

Eine meiner wichtigsten Anforderungen ist, dass ich die Drosselung durch die dynamodb.throughput.read.percent Einstellung beibehalten, so dass ich die betriebliche Nutzung der Tabelle nicht kompromittiere.

Answer 1

Sie könnten für diesen Fall eine spezifische UDTF (benutzerdefinierte Tabellengenerierungsfunktionen) erstellen. Ich bin mir nicht sicher, wie Hive asterisk (wahrscheinlich für Ihren Fall) als Argument für die Funktion behandelt.

Etwas wie was Explode (source) tut.