Den maximalen Wert für jeden Schlüssel in einem Spark-RDD abrufen

Question

Wie kann die maximale Zeile (Wert), die jedem eindeutigen Schlüssel in einer Funke-RDD zugeordnet ist, am besten zurückgegeben werden?

Ich benutze Python und ich habe Math Max versucht, Zuordnung und Reduzierung von Schlüsseln und Aggregaten. Gibt es einen effizienten Weg, dies zu tun? Möglicherweise eine UDF?

Ich habe in RDD Format:

[(v, 3), 
(v, 1), 
(v, 1), 
(w, 7), 
(w, 1), 
(x, 3), 
(y, 1), 
(y, 1), 
(y, 2), 
(y, 3)] 

Und ich muss zurück:

[(v, 3), 
(w, 7), 
(x, 3), 
(y, 3)] 

Krawatten können den ersten Wert oder Zufalls zurückzukehren.

Answer 1

Eigentlich haben Sie ein PairRDD. Eine der besten Möglichkeiten, es zu tun ist, mit reduceByKey:

(Scala)

val grouped = rdd.reduceByKey(math.max(_, _)) 

(Python)

grouped = rdd.reduceByKey(max) 

(Java 7)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    new Function2<Integer, Integer, Integer>() { 
     public Integer call(Integer v1, Integer v2) { 
      return Math.max(v1, v2); 
    } 
}); 

(Java 8)

JavaPairRDD<String, Integer> grouped = new JavaPairRDD(rdd).reduceByKey(
    (v1, v2) -> Math.max(v1, v2) 
); 

API doc für reduceByKey:

• Scala
• Python
• Java