Kombinieren von Daten basierend auf Spalte in Funke

Question

Ich habe Daten in folgendem Format in Hive-Tabelle.

user | purchase | time_of_purchase 

Ich möchte Daten erhalten, in

user | list of purchases ordered by time 

Wie kann ich dies tun in pyspark oder hiveQL?

Ich habe versucht, mit collect_list in Hive, aber es nicht die Reihenfolge korrekt durch Zeitstempel beibehalten.

Bearbeiten: Hinzufügen von Beispieldaten wie von KartikKannapur gefragt. Hier ist ein Beispieldaten

94438fef-c503-4326-9562-230e78796f16 | Bread | Jul 7 20:48 
94438fef-c503-4326-9562-230e78796f16 | Shaving Cream | July 10 14:20 
a0dcbb3b-d1dd-43aa-91d7-e92f48cee0ad | Milk | July 7 3:48 
a0dcbb3b-d1dd-43aa-91d7-e92f48cee0ad | Bread | July 7 3:49 
a0dcbb3b-d1dd-43aa-91d7-e92f48cee0ad | Lotion | July 7 15:30 

Der Ausgang ich will, ist

94438fef-c503-4326-9562-230e78796f16 | Bread , Shaving Cream 
a0dcbb3b-d1dd-43aa-91d7-e92f48cee0ad | Milk , Bread , Lotion 

Answer 1

Eine Möglichkeit, dies zu tun, ist

zunächst einen Bienenstock Kontext erstellen und Tabelle in eine RDD lesen.

from pyspark import HiveContext 
purchaseList = HiveContext(sc).sql('from purchaseList select *') 

verarbeiten dann die RDD

from datetime import datetime as dt 
purchaseList = purchaseList.map(lambda x:(x[0],[x[1],dt.strptime(x[2],"%b %d %H:%M")])) 
purchaseByUser = purchaseList.groupByKey() 
purchaseByUser = purchaseByUser.map(lambda x:(x[0],[y[0] for y in sorted(x[1], key=lambda z:z[1])])) 
print(purchaseByUser.take(2)) 

Ausgabe

[('94438fef-c503-4326-9562-230e78796f16', ['Bread', 'Shaving Cream']), ('a0dcbb3b-d1dd-43aa-91d7-e92f48cee0ad', ['Milk', 'Bread', 'Lotion'])] 

Speichern Sie die RDD als neue Stock-Tabelle

schema_rdd = HiveContext(sc).inferSchema(purchaseByUser) 
schema_rdd.saveAsTable('purchaseByUser') 

Zum Lesen und Schreiben von hive Tabelle sieht diese stackoverflow question ein nd spark docs