Welche Funktion in Spark verwendet wird, um zwei RDDs durch Tasten zu kombinieren

Question

Sagen wir, ich habe die folgenden zwei RDDs, mit den folgenden Schlüsselpaaren Werte.

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] 

und

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] 

Jetzt will ich sie von Schlüsselwerten verbinden, so zum Beispiel ich folgende

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ] 

zurückkehren wollen, wie ich kann ich dies tun, in Funken mit Python oder Scala? Eine Möglichkeit ist die Verwendung von Join, aber Join würde ein Tupel innerhalb des Tupels erzeugen. Aber ich möchte nur ein Tupel pro Schlüsselwertpaar haben.

Answer 1

Ich würde die beiden RDDs und zu einem reduceByKey die Werte zusammenführen.

(rdd1 union rdd2).reduceByKey(_ ++ _) 

Answer 2

Verwenden Sie einfach join und dann map die resultierende RDD.

rdd1.join(rdd2).map(case (k, (ls, rs)) => (k, ls ++ rs))