zählen Sie die Zeilen in RDD abhängig von den Linien Kontext, pyspark

Question

Ich versuche zu verstehen, derzeit, wie RDD funktioniert. Zum Beispiel möchte ich die Zeilen basierend auf dem Kontext in einem RDD-Objekt zählen. Ich habe einige experince mit Datenrahmen und meinen Code für DF, die A beispielsweise Spalten, B und wahrscheinlich einige andere Spalten, sucht wie:

df = sqlContext.read.json("filepath") 
df2 = df.groupBy(['A', 'B']).count() 

Der logische Teil dieses Codes ist für mich klar - ich tun groupBy Operation über Spaltenname in DF. In RDD habe ich keinen Spaltennamen, nur ähnliche Zeilen, die ein Tupel oder ein Zeilenobjekt sein könnten ... Wie kann ich ähnliche Tupel zählen und sie als Integer zur eindeutigen Zeile hinzufügen? Zum Beispiel meines erster Code:

df = sqlContext.read.json("filepath") 
rddob = df.rdd.map(lambda line:(line.A, line.B)) 

ich die Karte Operation tun und ein Tupel der Werte aus den Tasten A und B erstellen. Die eindeutige Zeile hat keine Schlüssel mehr (dies ist der wichtigste Unterschied zum DataFrame, der den Spaltennamen hat). Jetzt kann ich so etwas produzieren, aber es berechnet nur eine Gesamtanzahl von Zeilen in RDD.

rddcalc = rddob.distinct().count() 

Was ich für meine Ausgabe wollen, ist nur:

((a1, b1), 2) 
((a2, b2), 3) 
((a2, b3), 1) 
... 

PS

ich meine persönliche Lösung für diese Frage gefunden zu haben. Hier: rdd ist initial rdd, rddlist ist eine Liste aller Zeilen, rddmod ist eine final modifizierte rdd und folglich die Lösung.

rddlist = rdd.map(lambda line:(line.A, line.B)).map(lambda line: (line, 1)).countByKey().items() 
rddmod = sc.parallelize(rddlist) 

Answer 1

Ich glaube, was Sie hier suchen, ist ein reduceByKey. Dies gibt Ihnen eine Zählung, wie oft jedes unterschiedliche Paar von (a,b) Zeilen erscheint. Es würde wie folgt aussehen:

rddob = df.rdd.map(lambda line: (line.A + line.B, 1)) 
counts_by_key = rddob.reduceByKey(lambda a,b: a+b) 

Sie jetzt Schlüssel haben, Wertepaare der Form: ((a,b), count-of-times-pair-appears)

Bitte beachten Sie, dass dies nur funktioniert, wenn A und B Strings sind. Wenn es sich um Listen handelt, müssen Sie einen Objekttyp "Primärschlüssel" erstellen, um die Reduzierung durchzuführen. Sie können reduceByKey nicht ausführen, wo der Primärschlüssel ein kompliziertes Objekt ist.