Erste erste n verschiedene Schlüssel Tupeln in Scala Spark-

Question

Ich habe eine RDD mit Tuple wie

folgt

(a, 1), (a, 2), (b,1) 

Wie kann ich die ersten beiden Tupeln mit verschiedene Schlüssel bekommen können. Wenn ich einen Take (2) mache, bekomme ich (a, 1) und (a, 2)

Was ich brauche ist (a, 1), (b, 1) (Schlüssel sind verschieden). Werte sind irrelevant.

Answer 1

Folgendes habe ich zusammen in Scala geworfen.

sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 1))) 
    .reduceByKey((k1,k2) => k1) 
    .collect() 

Ausgänge

Array[(String, Int)] = Array((a,1), (b,1)) 

Answer 2

Wie Sie bereits eine RDD von Pair, Ihre RDD hat zusätzliche Schlüssel-Wert-Funktionalität von org.apache.spark.rdd.PairRDDFunctions zur Verfügung gestellt. Lasst uns davon Gebrauch machen.

val pairRdd = sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 1))) 
// RDD[(String, Int)] 

val groupedRdd = pairRdd.groupByKey() 
// RDD[(String, Iterable[Int])] 

val requiredRdd = groupedRdd.map((key, iter) => (key, iter.head)) 
// RDD[(String, Int)] 

Oder kurz

sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 1))) 
    .groupByKey() 
    .map((key, iter) => (key, iter.head)) 

Answer 3

Es ist einfach ..... Sie müssen nur genau wie der Balg die Funktion verwenden:

val data = sc.parallelize(Seq(("a", 1), ("a", 2), ("b", 1))) 
data.collectAsMap().foreach(println)